株式会社イングクラウドでは、日本語の対話音声とELANアノテーションをサンプルデータとして公開しています。公開方法を考えるなかで迷ったのが、Hugging FaceとGitHubをどう使い分けるかでした。

GitHubは研究で使われるプログラムやデータの公開先としてよく見かけます。一方、AIや機械学習のデータセットを探していると、最近はHugging Faceにたどり着くことが増えました。

両方ともファイルを公開でき、変更履歴も残せますが、得意なものが違います。音声、画像、表形式データなど、データセット自体を見つけて使ってもらうならHugging Face、プログラムや変換スクリプトを共同で直していくならGitHubが分かりやすい、というのが現在の印象です。

2026年9月14日確認
各サービスの機能、容量、料金、利用条件は変更されることがあります。実際に公開するときは、本文中の公式情報も確認してください。

Hugging FaceとGitHubを簡単に比較する

音声データを公開するならHugging Faceが素直だった

今回公開した旅行代理店を題材にした日本語ロールプレイ対話と、日本語テーマ型雑談コーパスには、音声、話者別音声、ELANのEAFファイルを収録しています。

GitHubにも同じファイルを置くことはできます。ただ、1本数十MBになるWAVファイルを何本も扱うと、通常のソースコードと同じ感覚では管理できません。GitHubでは単一のGitオブジェクトについて100MBが上限となっており、大きなファイルにはGit LFSの利用が案内されています。リポジトリの推奨上限もあるため、音声や動画が増えるほど構成を考える必要があります。詳しい制限はGitHubの公式資料で確認できます。

Hugging Faceは最初からデータセット用のリポジトリを作れます。音声ファイル、README、メタデータを同じ場所へ置き、言語、用途、ライセンスなどをDataset Cardへ記載できます。閲覧者も「これは何のリポジトリか」を理解しやすく、AIや音声研究に関心のある人がデータセットとして探せます。

Hugging Faceではデータの中身をその場で確認できる

Hugging FaceのData Studioでは、対応するデータを表形式で表示できます。列ごとの値や分布を確認し、条件による絞り込みや検索、SQLによる集計もできます。音声列が正しく認識されれば、ページ上で音声を再生することもできます。

公開前は、ファイルをアップロードすればそのまま一覧になると思っていました。実際には、フォルダの分け方やmetadata.csvの内容によって表示が変わります。一つの対話につき、ミックス音声、話者1、話者2の3ファイルがある場合、どの音声が同じ対話なのかをメタデータで示した方が分かりやすくなります。

EAFファイルは、そのままではDataset Viewerの表に中身が表示されません。それでも、音声とEAFを同じフォルダに置き、READMEで対応関係を説明すれば、利用者は必要なファイルをダウンロードできます。Hugging Faceを使えばすべて自動で整理されるわけではありませんが、データセットとして見せるための土台は用意されています。

アップロード後には、データをParquetへ自動変換したという通知も届きました。これは元ファイルが勝手に置き換えられたという意味ではなく、Viewerやプログラムから扱いやすくするための変換です。公開する側がPythonを使わなくても処理されるため、最初は少し驚きました。

GitHubはプログラムと一緒に公開するときに強い

GitHubは、データの作成・変換・検証に使うプログラムを公開する場所として強みがあります。例えば、次のようなものです。

• ELANのEAFをCSVへ変換するスクリプト
• Label StudioのJSONを研究用形式へ変換するプログラム
• データの欠損やファイル名を確認する検証コード
• アノテーション設定やラベル定義
• データセットを使った学習・分析のサンプル

変更内容をPull Requestで確認し、Issueで問題を報告し、GitHub Actionsでテストを自動化できます。データそのものよりも、「どう作ったか」「どう変換するか」「どう再現するか」を共同で管理するならGitHubの方が自然です。

CSVやJSONなどの小さなデータセットで、分析コードとデータを一つにまとめたい場合もGitHubで十分です。音声や画像の容量が大きくなった段階で、Hugging Faceなどへデータを分ける形が考えやすいと思います。

ライセンスは、どちらへ置いても自分で決める

Hugging FaceやGitHubでPublicに設定しただけでは、第三者が自由に再利用してよい条件までは決まりません。公開時には、データセットのライセンスを明記する必要があります。

音声や画像には、収録参加者の同意、肖像、個人情報、元資料の著作権などが関係します。作成したアノテーションだけにライセンスを付けても、元データを同じ条件で公開できるとは限りません。

イングクラウドの対話音声サンプルはCC BY-NC 4.0で公開しています。クレジット表記を条件に非商用で利用できますが、研究目的なら何でも無条件に利用できるという意味ではありません。収録時の同意範囲と、実際に公開するファイルを合わせて決めています。

完全公開しないデータにはGated Datasetも使える

音声や映像では、誰でも直接ダウンロードできる状態にせず、研究目的や所属を確認してから提供したいことがあります。Hugging FaceではGated Datasetを設定し、利用者からアクセス申請を受けられます。

申請時にはHugging Faceのユーザー名とメールアドレスが共有され、追加項目として所属、国、利用目的、条件への同意なども設定できます。承認は自動と手動から選べます。

ただし、Gated Datasetは秘密保持契約や厳密なデータ提供審査の代わりではありません。一度ダウンロードされたファイルを技術的に回収することもできません。機微なデータでは、契約、利用申請書、提供範囲、保存期間などを別に設計する必要があります。

論文から引用してもらうならDOIも考える

研究データとして公開する場合、ページのURLだけでなく、特定の版を引用できるDOIが必要になることがあります。

Hugging Faceでは、モデルやデータセットの設定画面からDOIを発行できます。更新後に新しいDOIを発行し、特定の版を参照してもらうこともできます。DOIを付けると、原則として永続的に残すことが前提となり、削除、名前変更、公開範囲の変更にはサポートへの申請が必要になります。試作中ではなく、内容と名称が固まってから発行した方がよさそうです。

GitHub単独でDOIを発行するのではなく、ZenodoとGitHubを連携する方法があります。GitHubでReleaseを作ると、Zenodoがその版を保存してDOIを発行します。コードとデータの版をまとめて研究成果として残す用途では、この組み合わせがよく使われています。

どちらか一方に決める必要はない

現在のイングクラウドのように、音声、話者別音声、EAFをサンプルとして見てもらうことが目的なら、Hugging Faceだけでも十分です。研究者がブラウザから内容を確認し、必要なファイルをダウンロードできます。

今後、EAFの変換スクリプト、収録ファイルの検査プログラム、データの利用例などを公開するなら、その部分はGitHubに置き、Hugging FaceのDataset Cardからリンクする形が使いやすそうです。最初から同じデータを両方へ複製すると、更新漏れや版の不一致が起こるため、役割を分けた方が管理しやすくなります。

公開先より先に、公開できるデータかを確認する

Hugging FaceとGitHubのどちらを選んでも、公開できないデータは公開できません。研究参加者から得た音声、映像、手書き画像などは、収集時の説明と同意が公開範囲に対応しているかを確認する必要があります。

公開前には、少なくとも次の項目を確認します。

• 参加者から公開と第三者利用の同意を得ているか
• 氏名、住所、顔、位置情報などが残っていないか
• データとアノテーションの権利を誰が持つか
• 商用利用、改変、再配布を認めるか
• データの内容、作成方法、限界を説明できるか
• 更新履歴と版をどのように残すか
• 削除依頼や公開停止が起きた場合にどう対応するか

公開サービスを選ぶより、ここを決める方が時間がかかります。データを作り終えてから公開条件を考えると、同意の取り直しができず、結局公開できない場合もあります。将来サンプル公開する可能性があるなら、収集を始める前に同意文と権利関係へ入れておく必要があります。