2026年10月2日
3〜4人の会話で全員の動きをどう追う？8台で記録したMPIIGroupInteraction
四人で話しているとき、一人が発言しても、残る三人が同じように聞いているとは限りません。発言者を見る人、別の人を見る人、短い相づちを入れる人がいます。次に誰が話すかを調べるにも、今の発言者だけを撮っていては、ほかの人の動きが欠けます。 MPIIGroupInteractionは、初対面の三人・四人による議論を、全員の顔と身体が追える複数の視点と音声で記録したデ…
マルチモーダル
-
-
2026年9月30日
文化による感情表現の違いをどう比べる？会話条件を設計したSEWA
同じ広告を見た人でも、受け取り方や話し方は同じとは限りません。文化による違いを調べたいとき、映像を撮る場所だけを増やしても、見た広告や会話の話題まで違えば、何が反応の差につながったのか分かりにくくなります。 SEWAは、広告を見る順序と対話の話題をそろえ、異なる文化的背景を持つ参加者の反応を収録しました。さらに、本人が申告した感情と、録画を見聞きした第三者の…
-
2026年9月28日
感情は会話の途中でどう動く？遠隔共同作業を連続評価したRECOLA
共同作業中の感情は、発話ごとに一つの名前へ切り分けられるとは限りません。意見が一致して安心する、順位づけで対立して緊張する、といった変化は時間の流れの中で起きます。その動きを音声・顔・生理反応と結びつけるには、収録と評価をどのように設計すればよいのでしょうか。 RECOLAは、2人がビデオ会議で共同課題に取り組む様子を、音声、映像、心電図（ECG）、皮膚電気…
-
2026年9月25日
人は言葉・声・表情のどれで感情を伝える？CMU-MOSEI
人が動画で意見を話すとき、意味は言葉だけに含まれるわけではありません。「よかった」という文でも、声の調子や顔の動きによって受け取られ方は変わります。では、言葉・声・表情の寄与を調べられるデータは、どのような単位と手順で作ればよいのでしょうか。 CMU-MOSEIは、オンラインの意見動画を文単位に分け、テキスト・音声・映像を対応づけ、センチメントと6種類の感情…
-
2026年9月22日
口が動いている人が話者とは限らない 映像と音声から「誰が話しているか」を付ける
会話の映像に二人の顔が映っていて、一人の口が動いている。それだけで、その人を話者と判断できるでしょうか。 映画やインタビューには、画面外から聞こえる声、声を出さずに口だけ動かす人物、別の人物の声に重なる反応、編集による映像と音声のずれがあります。映像だけを見て「口が動いている人」を選んでも、実際に聞こえている声の話者とは一致しません。 AVA ActiveS…
-
2026年9月21日
感情のある会話をどう作る？台本と即興を組み合わせたIEMOCAP
俳優に「怒り」を指定して一文を読んでもらう方法なら、感情名と台詞をそろえられます。しかし、相手の言葉に反応したり、話すうちに気持ちが変わったりする過程は残りにくくなります。感情のある対話を集めるなら、研究者は台詞まで決めるべきでしょうか。それとも、場面だけを渡して俳優に任せるべきでしょうか。 IEMOCAPは、男女二人の俳優に戯曲を演じてもらう収録と、架空の…
-
2026年9月18日
子ども同士と子ども・ロボットの遊びをどう記録する？PInSoRo
子どもが誰かと遊ぶとき、会話だけが起きているわけではありません。同じものを見る、相手の動きをまねる、順番を譲る、一緒に絵を描く、ときには相手を無視する。社会的な関係は、声、視線、身体の動き、物の操作が重なりながら変化します。 こうした行動をAIに学習させるには、短い指示課題だけでは足りません。一方で、「自由に遊んでください」と依頼するだけでは、参加者ごとに状…
-
2026年9月18日
うなずきや相づちは文化でどう違う？日本語・中国語を加えたNoXi+J
会話への関心は、発言内容だけに表れるわけではありません。相手の話を聞きながらうなずく、短く相づちを打つ、視線を向ける、表情を変える。私たちは複数の手がかりを組み合わせて、「この人は話に参加している」「少し関心が離れている」と判断しています。 ところが、うなずきや相づちの使い方は、言語や文化によって同じとは限りません。ある言語圏で関心の表れとして機能する動作を…
-
2026年9月18日
同時発話と割り込みをどう記録する？AMI Meeting Corpus
会議音声では、発話が重なること自体は珍しくありません。しかし、二人の音声区間が重なったという音響的な事実と、一方が他方の発話権を奪ったという会話上の「割り込み」は同じではありません。短い「うん」「なるほど」は発話を妨げない相づちかもしれず、相手の文を一緒に完成させる協調的な重なりもあります。 AMI Meeting Corpusは、この違いを検討するための代…
-
2026年9月18日
相手を見るのは発話を譲る合図なのか？HCRC Map Task Corpusの視線研究
会話中に相手を見ると、発話の順番を渡す合図のように見えることがあります。しかし、相手を見る理由はそれだけではありません。説明が伝わったか確認したい、同意を求めたい、問題が起きたことを共有したい場合にも、話者は資料から顔を上げます。 2026年の研究「Gaze Behaviour & Conversation Unfolding in the HCRC…
-
2026年9月18日
会話の笑いはどこからどこまで？単独笑いと笑いながらの発話を記録したDUEL
会話の笑いは、いつも「楽しい」という感情だけを表すとは限りません。気まずさを和らげる笑い、相手と同時に起こる笑い、言いにくい内容を笑いながら話す場面もあります。しかし、音声を書き起こして「笑い」と一語だけ記録すると、笑いだけが発せられたのか、言葉と重なっていたのか、どの程度続いたのかが分かりません。 DUELは、ドイツ語、フランス語、中国語の対面会話を、音声…
-
2026年9月18日
会話の途中で感情が変わる様子を記録したMELD
同じ「Okay」でも、笑顔で明るく言えば喜び、強い口調なら怒り、力なく答えれば悲しみに聞こえることがあります。さらに、直前に誰が何を言ったかによっても解釈は変わります。会話中の感情を捉えるには、文章だけでなく、声、表情、話者ごとの感情の流れが必要です。 MELD（Multimodal EmotionLines Dataset）は、テレビドラマ『Friends…
-
2026年9月18日
AIは嘘や冗談をどう見分けるのか｜言葉どおりではない発話を学ぶデータ
人は「最高だね」という一言を、心からの称賛にも、失敗への皮肉にも使います。冗談を真顔で言うこともあれば、本当の話が冗談のように聞こえることもあります。 AIが嘘や冗談を理解するには、単語の意味だけでなく、直前の出来事、話者の意図、声の調子、表情、聞き手の反応まで見る必要があります。本記事では、言葉どおりではない発話を研究する際、どのようなデータが使われるのか…
-
2026年9月18日
AIは「うん」「なるほど」をいつ返す？MM-F2Fの発話交替データ
人は相手が話し終わる前から、次に自分が話すのか、それとも「うん」「なるほど」と短く応じるのかを判断しています。言葉の意味だけでなく、声の調子、沈黙、視線、表情も手掛かりです。会話AIがこのタイミングを誤れば、利用者の考え途中に割り込んだり、応答できる場面で黙り続けたりします。 MM-F2F（Multi-Modal Face-to-Face Conversat…
-
2026年9月18日
皮肉は文字・声・表情のどこに現れる？MUStARD
「さすがですね」という文字だけでは、本当に褒めているのか、失敗した相手を皮肉っているのか判断できません。語尾を引き延ばす声、特定の語を強調する話し方、無表情な顔、直前の出来事まで見て、ようやく意図が伝わることがあります。 MUStARD（MUltimodal SARcasm Detection Dataset）は、こうした皮肉をテキスト、音声、映像、直前の会…
-
2026年9月17日
AIは人の感情や会話の文脈をどう学ぶ？公開論文から学習データを読み解く
AIに感情を覚えさせる、相手の気持ちを理解させる、会話の空気を読ませる。このような研究が進んでいると聞くと、AIが人間と同じように喜んだり悲しんだりする姿を想像するかもしれません。 しかし、現在の研究で行われているのは、AIの内側に人間と同じ感情を生み出すこととは少し異なります。 人が会話を見たり聞いたりして、「この発話は怒りを表している」「この出来事が悲し…