2026年10月5日
世界中の人が録った声を、どう同じデータにする？Mozilla Common Voice
自宅のスマートフォンで録った声と、別の国のパソコンで録った声。録音場所もマイクも違う二つの音声を、どう一つのデータセットに入れるのでしょうか。Mozilla Common Voiceがそろえたのは部屋や機材ではありません。読む文章を用意し、画面に表示して録音し、文章と声が合うかを聞き、公開時に分類するという工程です。 ここで扱うのは、文章を読み上げるComm…
AIデータセットラボ
国内外の公開論文やデータセットをもとに、AI研究で使われるデータの収集方法、アノテーション、品質管理、データの限界を紹介します。実際のデータ収集やアノテーションに関する記事は、AIデータ制作ノートをご覧ください。
-
-
2026年10月2日
3〜4人の会話で全員の動きをどう追う？8台で記録したMPIIGroupInteraction
四人で話しているとき、一人が発言しても、残る三人が同じように聞いているとは限りません。発言者を見る人、別の人を見る人、短い相づちを入れる人がいます。次に誰が話すかを調べるにも、今の発言者だけを撮っていては、ほかの人の動きが欠けます。 MPIIGroupInteractionは、初対面の三人・四人による議論を、全員の顔と身体が追える複数の視点と音声で記録したデ…
-
2026年9月30日
文化による感情表現の違いをどう比べる？会話条件を設計したSEWA
同じ広告を見た人でも、受け取り方や話し方は同じとは限りません。文化による違いを調べたいとき、映像を撮る場所だけを増やしても、見た広告や会話の話題まで違えば、何が反応の差につながったのか分かりにくくなります。 SEWAは、広告を見る順序と対話の話題をそろえ、異なる文化的背景を持つ参加者の反応を収録しました。さらに、本人が申告した感情と、録画を見聞きした第三者の…
-
2026年9月28日
感情は会話の途中でどう動く？遠隔共同作業を連続評価したRECOLA
共同作業中の感情は、発話ごとに一つの名前へ切り分けられるとは限りません。意見が一致して安心する、順位づけで対立して緊張する、といった変化は時間の流れの中で起きます。その動きを音声・顔・生理反応と結びつけるには、収録と評価をどのように設計すればよいのでしょうか。 RECOLAは、2人がビデオ会議で共同課題に取り組む様子を、音声、映像、心電図（ECG）、皮膚電気…
-
2026年9月25日
人は言葉・声・表情のどれで感情を伝える？CMU-MOSEI
人が動画で意見を話すとき、意味は言葉だけに含まれるわけではありません。「よかった」という文でも、声の調子や顔の動きによって受け取られ方は変わります。では、言葉・声・表情の寄与を調べられるデータは、どのような単位と手順で作ればよいのでしょうか。 CMU-MOSEIは、オンラインの意見動画を文単位に分け、テキスト・音声・映像を対応づけ、センチメントと6種類の感情…
-
2026年9月23日
声の違いを比べるには何をそろえる？100人を収録したJVSコーパス
同じ100文を読むのに、収録時間が最も短い話者は10.11分、最も長い話者は18.24分。JVSコーパスの原論文が報告した差は約1.8倍です。この時間には無音部分も含まれるため、数字だけで「声の個性」を説明することはできません。それでも、読む文章と発話数をそろえれば、文章の長さの違いに隠されずに話者ごとの違いを観察できます。 JVSコーパスが用意したのは、一…
-
2026年9月21日
感情のある会話をどう作る？台本と即興を組み合わせたIEMOCAP
俳優に「怒り」を指定して一文を読んでもらう方法なら、感情名と台詞をそろえられます。しかし、相手の言葉に反応したり、話すうちに気持ちが変わったりする過程は残りにくくなります。感情のある対話を集めるなら、研究者は台詞まで決めるべきでしょうか。それとも、場面だけを渡して俳優に任せるべきでしょうか。 IEMOCAPは、男女二人の俳優に戯曲を演じてもらう収録と、架空の…
-
2026年9月18日
子ども同士と子ども・ロボットの遊びをどう記録する？PInSoRo
子どもが誰かと遊ぶとき、会話だけが起きているわけではありません。同じものを見る、相手の動きをまねる、順番を譲る、一緒に絵を描く、ときには相手を無視する。社会的な関係は、声、視線、身体の動き、物の操作が重なりながら変化します。 こうした行動をAIに学習させるには、短い指示課題だけでは足りません。一方で、「自由に遊んでください」と依頼するだけでは、参加者ごとに状…
-
2026年9月18日
うなずきや相づちは文化でどう違う？日本語・中国語を加えたNoXi+J
会話への関心は、発言内容だけに表れるわけではありません。相手の話を聞きながらうなずく、短く相づちを打つ、視線を向ける、表情を変える。私たちは複数の手がかりを組み合わせて、「この人は話に参加している」「少し関心が離れている」と判断しています。 ところが、うなずきや相づちの使い方は、言語や文化によって同じとは限りません。ある言語圏で関心の表れとして機能する動作を…
-
2026年9月18日
一人の話者が日本語と英語を切り替える
「それが数々の trouble に見舞われた」のように、一つの発話の途中で日本語から英語へ切り替える音声を、どのように集めればよいのでしょうか。 複数のバイリンガル話者による自由会話を収録すれば、実際の生活で生じる言語の切り替えを集められます。しかし、話者、話題、発話内容、収録環境が異なるため、音声の違いが言語切り替えによるものなのか、個人差によるものなのか…
-
2026年9月18日
日本語学習者の変化を3年間どう追ったか
日本語学習者の発話を一度だけ収録しても、そこで見つかった表現が一時的なものなのか、その人が繰り返し使うものなのかは分かりません。複数の習熟度群を同時に比べるだけでは、初級者がどのような過程を経て表現を獲得したのかも追えません。 同じ学習者へ数か月ごとに話してもらえば、使える語彙が増える過程、以前は使えなかった文法が現れる時期、いったん使えた表現が再び不安定に…
-
2026年9月18日
年代によって異なる日本語音声をどう集めるか
「高齢者の音声」を集めるとき、何歳以上を対象にすればよいのでしょうか。60代の参加者を多数集めたデータと、介護施設で暮らす80代・90代を含むデータでは、同じ「高齢者音声」でも対象者の構成が大きく異なります。 総人数が多くても、実際の利用者に近い年代が少なければ、そのデータだけで音声認識システムの性能を判断することはできません。一方、年代以外の条件まで厳しく…
-
2026年9月18日
方言音声は台本読みと自由会話のどちらがよいか
方言音声を収録するとき、全員に同じ文章を読んでもらえば、地域による発音やアクセントの違いを比較しやすくなります。しかし、台本にない方言語彙や文法、相づち、言い直しは集まりにくくなります。 一方、地域の暮らしについて自由に話してもらえば、その人が日常的に使う表現を記録できます。ただし、話題や会話相手がそろわないため、地域間の差なのか収録条件の差なのかを判断しに…
-
2026年9月18日
同時発話と割り込みをどう記録する？AMI Meeting Corpus
会議音声では、発話が重なること自体は珍しくありません。しかし、二人の音声区間が重なったという音響的な事実と、一方が他方の発話権を奪ったという会話上の「割り込み」は同じではありません。短い「うん」「なるほど」は発話を妨げない相づちかもしれず、相手の文を一緒に完成させる協調的な重なりもあります。 AMI Meeting Corpusは、この違いを検討するための代…
-
2026年9月18日
相手を見るのは発話を譲る合図なのか？HCRC Map Task Corpusの視線研究
会話中に相手を見ると、発話の順番を渡す合図のように見えることがあります。しかし、相手を見る理由はそれだけではありません。説明が伝わったか確認したい、同意を求めたい、問題が起きたことを共有したい場合にも、話者は資料から顔を上げます。 2026年の研究「Gaze Behaviour & Conversation Unfolding in the HCRC…
-
2026年9月18日
「えーと」をどう記録したか？日本語話し言葉コーパスCSJ
一般的な議事録では、「えーと」「あのー」、語の繰り返し、言い掛けた音を削ることがあります。しかし、話し言葉を研究するデータでは、何を削らず、どの単位で、どの記号を使って残すかを先に決めなければなりません。 日本語話し言葉コーパス（Corpus of Spontaneous Japanese：CSJ）は、その判断基準を転記・形態論・韻律などの層に分けて公開して…
-
2026年9月18日
会話の笑いはどこからどこまで？単独笑いと笑いながらの発話を記録したDUEL
会話の笑いは、いつも「楽しい」という感情だけを表すとは限りません。気まずさを和らげる笑い、相手と同時に起こる笑い、言いにくい内容を笑いながら話す場面もあります。しかし、音声を書き起こして「笑い」と一語だけ記録すると、笑いだけが発せられたのか、言葉と重なっていたのか、どの程度続いたのかが分かりません。 DUELは、ドイツ語、フランス語、中国語の対面会話を、音声…
-
2026年9月18日
同じ言葉で別の場所を見ている誤解をどう収録する？HCRC Map Task Corpus
二人とも「話が通じた」と思っているのに、実は別のものを指している。こうした誤解は、自由会話を録音するだけでは狙って集めにくく、起きたとしても発生地点や解消過程を特定しにくい現象です。 HCRC Map Task Corpusは、少しずつ異なる地図を二人に渡し、会話だけで同じ経路を再現してもらう課題によって、参照のずれ、聞き返し、確認、言い直しを引き出した英語…
-
2026年9月18日
音声AIの間違いに人はどう反応する？顔と声を記録したエラー反応データ
音声アシスタントが間違った答えを返しても、人は必ず「違います」と言うわけではありません。眉をひそめる、笑う、視線をそらす、黙る、質問を言い直す。返答自体がなければ、端末を見ながら待ったり、同じ呼びかけを繰り返したりします。 こうした利用者の反応をAIが読み取れれば、明示的に指摘される前に、自分の応答が失敗した可能性へ気づけるかもしれません。では、その学習用デ…
-
2026年9月18日
言い直しでAIの誤解を修正できるか―BLOCKWORLD-REPAIRS
「右上のブロックを動かして」と頼んだ相手が、別のブロックを指したとします。「それではなく、その左のブロック」と返すとき、話し手は相手の選択を見て、最初の指示が伝わらなかった部分を訂正しています。 Third Position Repair（第三位置修復、TPR）は、最初の話し手が、相手の応答に現れた誤解を後続の発話で訂正する会話の構造です。BLOCKWORL…
-
2026年9月18日
規則を読み、不足条件を質問するShARCの作り方
「この制度を利用できますか」と聞かれても、年齢、居住地、就労状況など必要な条件が分からなければ、規則を読んだだけでは答えられません。足りない情報を見つけ、利用者へ確認し、その回答と規則を照合する必要があります。 ShARC（Shaping Answers with Rules through Conversation）は、規則文、利用者の質問と状況、これまで…
-
2026年9月18日
対話AIはいつ聞き返すべきか
「Fickle Creek Farmについて知りたい」と言われても、場所を知りたいのか、商品を購入できる場所を探しているのかは分かりません。対話AIが一つの意味を選んで回答すると、利用者が求めていない情報を返す可能性があります。 一方で、意味を一つに絞れる要求にまで毎回聞き返すAIも使いにくいものです。確認質問を扱うには、質問文を生成できるだけでなく、「この…
-
2026年9月18日
遠回しな断りをどのように収集・評価するか｜CIRCA
「今夜、食事に行きませんか」と聞かれて、「明日は朝が早いんです」と返されたら、多くの人は断りに近いと受け取るでしょう。しかし、返答には「いいえ」も「行きません」も含まれていません。反対に、「近くに予約できそうな店があります」は、明示的な「はい」がなくても肯定に見えます。 CIRCAは、Yes・Noで答えられる質問と、Yes・Noを直接使わない英語の回答を組み…
-
2026年9月18日
物が移されたことを知らない人物をどう作る？ToMiの人工物語設計
物体が別の容器へ移されたとき、移動を見ていた人物と、その場にいなかった人物では、同じ物体について異なる答えを持ちます。評価データにするには、この違いを物語の印象ではなく、「誰が、どの出来事を観察し、物体がどこにあると信じているか」という状態として記録しなければなりません。 ToMiは、登場人物ごとの信念を内部で更新しながら人工物語を生成し、その状態から質問と…
-
2026年9月18日
複数人会話で「誰が誰に話しているか」を記録する
四人の会議で「それで大丈夫です」と言った人がいても、誰の提案に答えたのかは文字だけでは分からないことがあります。直前の話者への返答なのか、特定の担当者への指示なのか、全員へ同意を求めたのか。複数人会話では、話者IDだけでなく発話の宛先とどの発話への応答かを分けて記録する必要があります。 AMI Meeting Corpusは、約100時間の英語会議を同期収録…
-
2026年9月18日
敬語だけで上司と部下を見分けられるのか
「承知しました」と答えた人が部下で、「分かった」と答えた人が上司とは限りません。店員は客へ、役職者は社外の取引先へ敬語を使います。親しい先輩と後輩なら、双方がくだけた話し方をすることもあります。 敬語から人間関係を分析するには、発話だけでなく、誰が誰に、どの場面で話したかが必要です。国立国語研究所の日本語日常会話コーパス（CEJC）は、その土台となる自然会話…
-
2026年9月18日
会話から権力差を測るEchoes of Power
役職名を隠した会話から、どちらの話者が高い地位にあるかを推定できるでしょうか。発言量や命令表現だけを数えても、立場の違いと個人の話し方を切り分けるのは容易ではありません。 Echoes of Powerは、Wikipediaの管理者権限と投票、米国最高裁の裁判官・弁護士という役職と判決票を外部の根拠にし、相手の機能語を直後の返信でどれだけ反復するかを測った研…
-
2026年9月18日
親密さ・上下関係・形式性をどうアノテーションするか
二人が「同僚」だと分かっても、その会話が対等で親しいとは限りません。上司と部下でありながら私生活では友人かもしれず、親子でも、その場では子ども側が判断を主導することがあります。関係名だけでは、会話に現れる距離感や力関係を表し切れません。 SCRIPTSは、英語と韓国語の映画脚本から1,147件の会話を集め、友人・恋人・親子といった関係候補に加え、親密さ、形式…
-
2026年9月18日
文化の異なる評価者へ同じ社会規範を尋ねる研究
同じ社会規範を複数の国で尋ねても、回答の違いがそのまま「文化差」とは限りません。片方では若いオンライン利用者が多く、片方では年齢層が広ければ、参加者構成の差かもしれません。翻訳の表現や、各国での募集経路も回答を変えます。 The Moral Machine experimentは、自動運転車の避けられない事故を題材に、世界233か国・地域から3,961万件の…
-
2026年9月18日
評価者によって善悪の判断が違うとき、正解をどう決めるか
同じ行為を読んでも、ある人は「投稿者が悪い」、別の人は「相手が悪い」と判断します。10人中6人と10人中10人の多数派ラベルを同じ「正解」にしてしまえば、意見の割れ方は消えます。では、評価者によって善悪の判断が違う課題で、正解はどう作ればよいのでしょうか。 SCRUPLESは、この問題を「普遍的な道徳の決定」ではなく、あるコミュニティの判断分布を予測する課題…
-
2026年9月18日
誰を助けるべきかを問うMoral Machine
自動運転車のブレーキが突然故障し、直進しても進路を変えても誰かが犠牲になるとしたら、どちらを選ぶべきでしょうか。乗員と歩行者、1人と5人、子どもと高齢者、信号を守る人と違反する人。条件が変われば、人の判断も変わるのでしょうか。 Moral Machineは、こうした架空の事故場面を二択で提示し、世界中のウェブ利用者から判断を集めたオンライン実験です。一次論文…
-
2026年9月18日
人は何を「正しい・間違い」と考える？5つの課題に分けたETHICS
「この行動は明らかに間違いか」と問う問題と、「二つの出来事のどちらが快いか」を比べる問題では、同じ道徳判断でも、入力も正解の決め方も違います。ETHICSは文章で示された場面を使い、常識、正義、義務論、功利主義、美徳に関する判断を五つの課題で測るベンチマークです。AIに倫理規則を自ら決定させる課題ではありません。 五つの課題は入力と評価単位が異なる 原論文「…
-
2026年9月18日
あり得ない物語をAIはどう見分ける？ARTの仮説推論データ
朝、庭に出ると地面は乾いていました。昼過ぎに窓を見ると、庭がぬれています。この二つの観察の間には、「雨が降った」「誰かが水をまいた」といった出来事が考えられます。 結果から、その原因としてもっとも説明力のある出来事を推定する考え方を仮説推論、英語ではabductive reasoningと呼びます。ARTは、この推論を短い物語の選択問題にしたデータセットです…
-
2026年9月18日
このあと何が起こる？動画の説明文から続きを選ぶSWAG
映像の場面説明を読んで、その後に続く行動を四つの文章から選ぶ。SWAGは、動画に対応する連続したキャプションを出発点に作られた英語の四択データセットです。ただし、問題を解くモデルへ動画そのものは渡しません。文章で与えられた場面に合う続きを選ぶ、grounded commonsense inference（現実の状況に基づく常識推論）の課題です。 名称はSit…
-
2026年9月18日
人の行動の原因と結果を知識にしたATOMIC
誰かを褒めるという出来事から、その人の意図や相手の気持ち、次に起こりそうな行動を考えることができます。ATOMICは、このような出来事には書かれていない推論を、種類ごとに自由記述で集めた英語の知識グラフです。原論文の表1には、褒め言葉を伝える出来事から、話した人の意図、相手の反応、話した人の人物像を別々に表した例があります。 名称は原論文の脚注でAn ATl…
-
2026年9月18日
嘘を見分ける研究では、どのように正解を作るのか｜Deceptive Opinion Spam
文章を読んで嘘かどうかを判定する研究には、最初から難しい問題があります。現実に投稿されたレビューを読んでも、その人が本当に宿泊したのか、報酬を受けて書いたのかを、文章だけから確定できるとは限りません。「怪しく見える文章」を嘘と決めてしまえば、検出したい特徴を先に正解ラベルへ混ぜることになります。 Deceptive Opinion Spamの研究は、実在する…
-
2026年9月18日
比喩を文字どおりに読まないためのVUA Metaphor Corpus
「議論を攻撃する」「主張を支える」のような表現は、文全体では自然に読めても、一部の語だけが基本的な意味から離れています。比喩をデータにするには、文章を丸ごと「比喩あり」と分類するだけでは、どの語のどの意味が判断の根拠になったのか分かりません。 VUA Metaphor Corpusは、実際に使われた英語を語彙単位ごとに調べ、比喩に関係する語とその現れ方を記録…
-
2026年9月18日
冗談の面白さを人はどう評価する？Humicroedit
冗談を「面白い／面白くない」の二択で分類するだけなら、評価者に文章を読んでもらえばデータは作れそうです。しかし、どの言葉を変えると笑いが生まれるのか、同じ冗談を人によってどの程度違って評価するのかまで調べるには、元の文章、変更箇所、複数人の点数を対応させる必要があります。 Humicroeditは、英語のニュース見出しに小さな置換編集（micro-edit）…
-
2026年9月18日
相談相手へ共感的に応答する方法を集めたESConv
共感的な返答は、単に「大変でしたね」と言えば成立するものではありません。まず事情を聞くべきか、感情を言葉にして返すべきか、それとも具体策を提案できる段階なのか。相手の状態と会話の進み方に応じて、応答の役割を選ぶ必要があります。 ESConv（Emotional Support Conversation）は、悩みを話す相談者と、それを支える支援者のテキスト会話…
-
2026年9月18日
感情が生まれた原因を会話から探すRECCON
発話を「喜び」「怒り」「悲しみ」と分類できても、なぜその感情になったかまで分かるとは限りません。原因は本人の発話内にあることも、相手が何ターンも前に話した出来事にあることもあります。感情語そのものを、原因と取り違える場合もあります。 RECCON（Recognizing Emotion Cause in CONversations）は、感情ラベルが付いた英語…
-
2026年9月18日
会話の途中で感情が変わる様子を記録したMELD
同じ「Okay」でも、笑顔で明るく言えば喜び、強い口調なら怒り、力なく答えれば悲しみに聞こえることがあります。さらに、直前に誰が何を言ったかによっても解釈は変わります。会話中の感情を捉えるには、文章だけでなく、声、表情、話者ごとの感情の流れが必要です。 MELD（Multimodal EmotionLines Dataset）は、テレビドラマ『Friends…
-
2026年9月18日
発言の理由は会話のどこにある？原因・動機・反応を付けたCICERO
会話では、話し手が理由をすべて言葉にするとは限りません。「今日はマクドナルドにしよう」という発言だけを見ても、空腹なのか、時間がないのか、安く済ませたいのかは決められません。前後の発言と日常的な常識を合わせて、初めてもっともらしい理由を考えられます。 CICERO（Contextualized Commonsense Inference in Dialogu…
-
2026年9月18日
既存の方言データを比較可能にするDIALECTBENCH
標準語のテストで高い性能を示すAIが、方言や地域変種でも同じように動くとは限りません。ただし、その差を横断的に調べるには、方言文を新しく集めるだけでなく、形式も粒度も異なる既存データを比較できる単位へ整理する必要があります。 DIALECTBENCHは、一つの新規データセットではありません。既存の方言・地域変種・社会変種・近縁言語のデータを集め、言語クラスタ…
-
2026年9月18日
AIは「うん」「なるほど」をいつ返す？MM-F2Fの発話交替データ
人は相手が話し終わる前から、次に自分が話すのか、それとも「うん」「なるほど」と短く応じるのかを判断しています。言葉の意味だけでなく、声の調子、沈黙、視線、表情も手掛かりです。会話AIがこのタイミングを誤れば、利用者の考え途中に割り込んだり、応答できる場面で黙り続けたりします。 MM-F2F（Multi-Modal Face-to-Face Conversat…
-
2026年9月18日
恋人か友人かを会話だけで推論するSCRIPTS
同じ「はい」でも、上司への返答と親しい友人への返答では、言葉遣いも距離感も異なります。しかし短い会話だけでは、二人が恋人、友人、同僚のどれかを一つに決められないことがあります。 SCRIPTSは、その曖昧さを残してLLMの関係推論を評価するため、英語と韓国語の映画脚本を対話単位へ切り出し、複数の関係候補を付けたベンチマークです。 SCRIPTSの正解は、映画…
-
2026年9月18日
会話がうまく通じなかった瞬間を記録したSpeDial
音声案内システムが利用者の言葉を誤認識しても、会話はそのまま進むことがあります。利用者が同じ内容を繰り返す、言い換える、「違う」と否定する、声を荒らげるといった反応が現れて、初めて問題に気付く場合もあります。 SpeDialは、音声対話システムのどこでコミュニケーション上の問題が起きたかを分析するために公開されたデータ資源です。英語のバス時刻案内システムと、…
-
2026年9月18日
曖昧な指示にAIが確認質問を返すためのデータセットAmbiK
「コーヒーを作って」と頼まれても、キッチンに陶器とガラスのマグカップがあれば、どちらを使うか分かりません。利用者の好みなら質問した方がよい一方、野菜を洗うかどうかまで毎回尋ねるロボットは使いにくくなります。危険がある場面では、勝手な補完が事故につながるかもしれません。 AmbiK（Dataset of Ambiguous Tasks in Kitchen E…
-
2026年9月18日
「朝5時にミキサーを使うのは失礼」をデータにしたSocial Chemistry 101
「朝5時にミキサーを使うのは失礼だ」。多くの人はその意味を理解できますが、一般的な辞書や法律に書かれた知識ではありません。時間帯、騒音、同居人や近隣への配慮といった、暗黙の社会規範を使って判断しているからです。 Social Chemistry 101は、このような日常の社会的・道徳的判断を、短い「経験則」と複数の構造化ラベルにした英語データセットです。20…