箱の中のお菓子が、本人のいない間に別の場所へ移されました。戻ってきた本人は、最初にどこを探すでしょうか。

私たちは正しい場所を知っています。しかし、本人は移動を見ていないため、以前の場所にあると信じています。自分の知識と相手の知識を分けて考える能力は、心の理論、英語ではTheory of Mindと呼ばれます。

本記事は公開研究を手掛かりに、他者の信念を扱うAI評価データを紹介するものです。ベンチマークの正答を、人間の心そのものの理解と同一視することはできません。

今回取り上げるToMiベンチマーク

Evaluating Theory of Mind in Question Answeringは、短い物語から登場人物の信念を問うToMiベンチマークを提案した研究です。

物語の中で物が移動したり、登場人物が部屋へ出入りしたりします。その後、「物は実際にどこにあるか」「人物Aはどこにあると思っているか」といった質問へ答えます。

事実と相手の信念を分けて質問する

同じ物語から複数の質問を作ることで、AIが現実の状態だけを覚えているのか、登場人物ごとの知識を追跡できているのかを確認できます。

短い人工的な物語を使う理由

現実の会話では、相手が何を見聞きしたかを完全には把握できません。ToMiのような物語では、登場人物の出入りと物の移動を制御し、誰が何を知っているかを明確にできます。

その一方で、定型的な文章には規則性があります。モデルが人物の心を理解せず、文の並び方や位置表現のパターンから答える可能性があります。

正答できても相手の心を理解したとは限らない

心の理論ベンチマークは、特定の形式の問題を解けるかを測ります。似たテンプレートを多数学習すれば、未知の会話相手の信念を柔軟に理解できなくても得点できるかもしれません。

評価時には、人物名、物体、場所だけでなく、出来事の表現、質問形式、物語の長さも変えます。理由説明を求めたり、どの文を根拠にしたかを確認したりする方法もあります。

実際の会話では信念以外の情報も必要になる

人が「空気を読む」ときは、相手の知識だけでなく、感情、目的、関係性、社会規範も推測しています。

例えば、相手が事実を知っていても、面子を保つために知らないふりをすることがあります。発話が本心か、冗談か、遠回しな断りかを判断するには、誤信念課題より広い文脈が必要です。

日本語のデータでは主語省略が難度を上げる

日本語では主語が省略されやすく、「見た」「知らなかった」の主体を前後から補う必要があります。登場人物の知識を評価する前に、誰の行動・認識なのかを正しく追跡できるかが問題になります。

日本語版を作るなら、単なる翻訳だけでなく、自然な省略を含む物語と、主体を明示した対照問題を用意すると、どこで推論に失敗したかを分析できます。