2026年9月18日
子ども同士と子ども・ロボットの遊びをどう記録する？PInSoRo
子どもが誰かと遊ぶとき、会話だけが起きているわけではありません。同じものを見る、相手の動きをまねる、順番を譲る、一緒に絵を描く、ときには相手を無視する。社会的な関係は、声、視線、身体の動き、物の操作が重なりながら変化します。 こうした行動をAIに学習させるには、短い指示課題だけでは足りません。一方で、「自由に遊んでください」と依頼するだけでは、参加者ごとに状…
音声・マルチモーダル
音声、映像、表情、発話交替など、複数の情報を組み合わせて理解するAI研究とデータセットを紹介します。
-
-
2026年9月18日
うなずきや相づちは文化でどう違う？日本語・中国語を加えたNoXi+J
会話への関心は、発言内容だけに表れるわけではありません。相手の話を聞きながらうなずく、短く相づちを打つ、視線を向ける、表情を変える。私たちは複数の手がかりを組み合わせて、「この人は話に参加している」「少し関心が離れている」と判断しています。 ところが、うなずきや相づちの使い方は、言語や文化によって同じとは限りません。ある言語圏で関心の表れとして機能する動作を…
-
2026年9月18日
同時発話と割り込みをどう記録する？AMI Meeting Corpus
複数人の会話では、一人が話し終わってから次の人が話すとは限りません。短い相づちが重なり、二人が同時に話し始め、一方が続けたり譲ったりします。 書き起こしで発話を一列に並べると、こうした会話の構造は消えてしまいます。 本記事は公開コーパスの紹介です。株式会社イングクラウドが当該コーパスの構築へ関与したことを示すものではありません。 今回取り上げるコーパス AM…
-
2026年9月18日
視線から次に話す人を予測できるか――HCRC Map Task Corpusの視線研究
人は会話中、言葉だけで発話の順番を調整しているわけではありません。相手を見る、資料へ視線を戻す、顔を上げるといった動きも、話し続けるのか、相手へ順番を渡すのかを示します。 本記事は公開論文と公開コーパスの紹介です。株式会社イングクラウドが当該研究へ関与したことを示すものではありません。 今回取り上げる研究 Gaze Behaviour & Conve…
-
2026年9月18日
「えーと」を消す前に――フィラーや言いよどみを残した日本語話し言葉コーパス
一般的な書き起こしでは、「えーと」「あのー」、語の繰り返し、言い直しを削ることがあります。しかし、話し言葉を研究するデータでは、それらも発話の一部です。 話者が考える時間を稼いだのか、表現を探しているのか、誤りを直したのか。完成後の文章だけに整えると、その過程は失われます。 本記事は公開されているコーパス情報の紹介です。株式会社イングクラウドが当該コーパスの…
-
2026年9月18日
笑い声は感情か相づちか――会話中の笑いを記録したDUEL
笑い声は、いつも「楽しい」という感情だけを表すわけではありません。照れ、緊張、気まずさの緩和、相手への同意、発話順の調整にも使われます。 DUELは、会話中の笑い、言いよどみ、感嘆表現を、音声・映像・身体動作と一緒に記録した多言語対話コーパスです。 本記事は公開論文と公開コーパスの紹介です。株式会社イングクラウドが当該研究へ関与したことを示すものではありませ…
-
2026年9月18日
音声AIの間違いに人はどう反応する？顔と声を記録したエラー反応データ
音声アシスタントが間違った答えを返すと、人は「違う」と明言するとは限りません。眉をひそめる、笑う、首をかしげる、画面や端末を見る、言い直す。返答がなければ、少し待ってから同じ呼びかけを繰り返すこともあります。 こうした反応をAIが読み取れれば、明示的に指摘される前に、自分の応答がうまくいかなかった可能性へ気づけるかもしれません。 本記事は公開論文と公開データ…
-
2026年9月18日
複数人会話で「誰が誰に話しているか」を記録する
四人の会議で「それで大丈夫です」と発言した人がいても、誰の提案へ答えたのかが分からなければ、会話の流れを正しく理解できません。 複数人会話では、何を話したかだけでなく、誰が話し、誰へ向け、どの発言へ応答したのかを記録する必要があります。 本記事は公開コーパスを例に、複数人対話データの設計を紹介するものです。実際の収録では、参加者の同意、匿名化、利用範囲の確認…
-
2026年9月18日
会話の途中で感情が変わる様子を記録したMELD
「Okay」「Yeah」のような短い返事だけを読んでも、話者が納得しているのか、怒っているのか、諦めているのかは分かりません。直前の会話、声の調子、表情を見ることで、初めて感情を推測できることがあります。 MELDは、一つの文章だけでは判断しにくい会話中の感情を、テキスト、音声、映像とともに記録したデータセットです。 本記事は公開論文と公開データセットの紹介…
-
2026年9月18日
AIは「うん」「なるほど」をいつ返す？MM-F2Fの発話交替データ
会話AIが返答内容を理解していても、話し始めるタイミングが早ければ人の発話を遮り、遅ければ不自然な沈黙になります。「うん」「なるほど」といった相づちも、内容だけでなくタイミングが重要です。 本記事は公開論文と公開データセットの紹介です。株式会社イングクラウドが当該研究へ関与したことを示すものではありません。 今回取り上げる論文 Predicting Turn…
-
2026年9月18日
皮肉は文字・声・表情のどこに現れる？MUStARD
「さすがですね」という文字だけでは、称賛なのか皮肉なのか分かりません。声の調子、表情、直前の失敗を知れば、意味が変わることがあります。 MUStARDは、文章だけでなく映像・音声・前後の会話を使って皮肉を判定するためのデータセットです。 本記事は公開論文とデータセットの紹介です。映像作品をデータ化する場合は、著作権と利用条件を別途確認する必要があります。 今…