2026年10月5日
世界中の人が録った声を、どう同じデータにする？Mozilla Common Voice
自宅のスマートフォンで録った声と、別の国のパソコンで録った声。録音場所もマイクも違う二つの音声を、どう一つのデータセットに入れるのでしょうか。Mozilla Common Voiceがそろえたのは部屋や機材ではありません。読む文章を用意し、画面に表示して録音し、文章と声が合うかを聞き、公開時に分類するという工程です。 ここで扱うのは、文章を読み上げるComm…
音声・マルチモーダル
音声、映像、表情、発話交替など、複数の情報を組み合わせて理解するAI研究とデータセットを紹介します。
-
-
2026年10月2日
3〜4人の会話で全員の動きをどう追う？8台で記録したMPIIGroupInteraction
四人で話しているとき、一人が発言しても、残る三人が同じように聞いているとは限りません。発言者を見る人、別の人を見る人、短い相づちを入れる人がいます。次に誰が話すかを調べるにも、今の発言者だけを撮っていては、ほかの人の動きが欠けます。 MPIIGroupInteractionは、初対面の三人・四人による議論を、全員の顔と身体が追える複数の視点と音声で記録したデ…
-
2026年9月23日
声の違いを比べるには何をそろえる？100人を収録したJVSコーパス
同じ100文を読むのに、収録時間が最も短い話者は10.11分、最も長い話者は18.24分。JVSコーパスの原論文が報告した差は約1.8倍です。この時間には無音部分も含まれるため、数字だけで「声の個性」を説明することはできません。それでも、読む文章と発話数をそろえれば、文章の長さの違いに隠されずに話者ごとの違いを観察できます。 JVSコーパスが用意したのは、一…
-
2026年9月18日
子ども同士と子ども・ロボットの遊びをどう記録する？PInSoRo
子どもが誰かと遊ぶとき、会話だけが起きているわけではありません。同じものを見る、相手の動きをまねる、順番を譲る、一緒に絵を描く、ときには相手を無視する。社会的な関係は、声、視線、身体の動き、物の操作が重なりながら変化します。 こうした行動をAIに学習させるには、短い指示課題だけでは足りません。一方で、「自由に遊んでください」と依頼するだけでは、参加者ごとに状…
-
2026年9月18日
うなずきや相づちは文化でどう違う？日本語・中国語を加えたNoXi+J
会話への関心は、発言内容だけに表れるわけではありません。相手の話を聞きながらうなずく、短く相づちを打つ、視線を向ける、表情を変える。私たちは複数の手がかりを組み合わせて、「この人は話に参加している」「少し関心が離れている」と判断しています。 ところが、うなずきや相づちの使い方は、言語や文化によって同じとは限りません。ある言語圏で関心の表れとして機能する動作を…
-
2026年9月18日
同時発話と割り込みをどう記録する？AMI Meeting Corpus
会議音声では、発話が重なること自体は珍しくありません。しかし、二人の音声区間が重なったという音響的な事実と、一方が他方の発話権を奪ったという会話上の「割り込み」は同じではありません。短い「うん」「なるほど」は発話を妨げない相づちかもしれず、相手の文を一緒に完成させる協調的な重なりもあります。 AMI Meeting Corpusは、この違いを検討するための代…
-
2026年9月18日
相手を見るのは発話を譲る合図なのか？HCRC Map Task Corpusの視線研究
会話中に相手を見ると、発話の順番を渡す合図のように見えることがあります。しかし、相手を見る理由はそれだけではありません。説明が伝わったか確認したい、同意を求めたい、問題が起きたことを共有したい場合にも、話者は資料から顔を上げます。 2026年の研究「Gaze Behaviour & Conversation Unfolding in the HCRC…
-
2026年9月18日
「えーと」をどう記録したか？日本語話し言葉コーパスCSJ
一般的な議事録では、「えーと」「あのー」、語の繰り返し、言い掛けた音を削ることがあります。しかし、話し言葉を研究するデータでは、何を削らず、どの単位で、どの記号を使って残すかを先に決めなければなりません。 日本語話し言葉コーパス（Corpus of Spontaneous Japanese：CSJ）は、その判断基準を転記・形態論・韻律などの層に分けて公開して…
-
2026年9月18日
会話の笑いはどこからどこまで？単独笑いと笑いながらの発話を記録したDUEL
会話の笑いは、いつも「楽しい」という感情だけを表すとは限りません。気まずさを和らげる笑い、相手と同時に起こる笑い、言いにくい内容を笑いながら話す場面もあります。しかし、音声を書き起こして「笑い」と一語だけ記録すると、笑いだけが発せられたのか、言葉と重なっていたのか、どの程度続いたのかが分かりません。 DUELは、ドイツ語、フランス語、中国語の対面会話を、音声…
-
2026年9月18日
音声AIの間違いに人はどう反応する？顔と声を記録したエラー反応データ
音声アシスタントが間違った答えを返しても、人は必ず「違います」と言うわけではありません。眉をひそめる、笑う、視線をそらす、黙る、質問を言い直す。返答自体がなければ、端末を見ながら待ったり、同じ呼びかけを繰り返したりします。 こうした利用者の反応をAIが読み取れれば、明示的に指摘される前に、自分の応答が失敗した可能性へ気づけるかもしれません。では、その学習用デ…
-
2026年9月18日
複数人会話で「誰が誰に話しているか」を記録する
四人の会議で「それで大丈夫です」と言った人がいても、誰の提案に答えたのかは文字だけでは分からないことがあります。直前の話者への返答なのか、特定の担当者への指示なのか、全員へ同意を求めたのか。複数人会話では、話者IDだけでなく発話の宛先とどの発話への応答かを分けて記録する必要があります。 AMI Meeting Corpusは、約100時間の英語会議を同期収録…
-
2026年9月18日
会話の途中で感情が変わる様子を記録したMELD
同じ「Okay」でも、笑顔で明るく言えば喜び、強い口調なら怒り、力なく答えれば悲しみに聞こえることがあります。さらに、直前に誰が何を言ったかによっても解釈は変わります。会話中の感情を捉えるには、文章だけでなく、声、表情、話者ごとの感情の流れが必要です。 MELD（Multimodal EmotionLines Dataset）は、テレビドラマ『Friends…
-
2026年9月18日
AIは「うん」「なるほど」をいつ返す？MM-F2Fの発話交替データ
人は相手が話し終わる前から、次に自分が話すのか、それとも「うん」「なるほど」と短く応じるのかを判断しています。言葉の意味だけでなく、声の調子、沈黙、視線、表情も手掛かりです。会話AIがこのタイミングを誤れば、利用者の考え途中に割り込んだり、応答できる場面で黙り続けたりします。 MM-F2F（Multi-Modal Face-to-Face Conversat…
-
2026年9月18日
皮肉は文字・声・表情のどこに現れる？MUStARD
「さすがですね」という文字だけでは、本当に褒めているのか、失敗した相手を皮肉っているのか判断できません。語尾を引き延ばす声、特定の語を強調する話し方、無表情な顔、直前の出来事まで見て、ようやく意図が伝わることがあります。 MUStARD（MUltimodal SARcasm Detection Dataset）は、こうした皮肉をテキスト、音声、映像、直前の会…