2026年9月18日
会話の途中で感情が変わる様子を記録したMELD
同じ「Okay」でも、笑顔で明るく言えば喜び、強い口調なら怒り、力なく答えれば悲しみに聞こえることがあります。さらに、直前に誰が何を言ったかによっても解釈は変わります。会話中の感情を捉えるには、文章だけでなく、声、表情、話者ごとの感情の流れが必要です。 MELD（Multimodal EmotionLines Dataset）は、テレビドラマ『Friends…
音声
-
-
2026年9月18日
AIは「うん」「なるほど」をいつ返す？MM-F2Fの発話交替データ
人は相手が話し終わる前から、次に自分が話すのか、それとも「うん」「なるほど」と短く応じるのかを判断しています。言葉の意味だけでなく、声の調子、沈黙、視線、表情も手掛かりです。会話AIがこのタイミングを誤れば、利用者の考え途中に割り込んだり、応答できる場面で黙り続けたりします。 MM-F2F（Multi-Modal Face-to-Face Conversat…
-
2026年9月18日
皮肉は文字・声・表情のどこに現れる？MUStARD
「さすがですね」という文字だけでは、本当に褒めているのか、失敗した相手を皮肉っているのか判断できません。語尾を引き延ばす声、特定の語を強調する話し方、無表情な顔、直前の出来事まで見て、ようやく意図が伝わることがあります。 MUStARD（MUltimodal SARcasm Detection Dataset）は、こうした皮肉をテキスト、音声、映像、直前の会…