物体が別の容器へ移されたとき、移動を見ていた人物と、その場にいなかった人物では、同じ物体について異なる答えを持ちます。評価データにするには、この違いを物語の印象ではなく、「誰が、どの出来事を観察し、物体がどこにあると信じているか」という状態として記録しなければなりません。

ToMiは、登場人物ごとの信念を内部で更新しながら人工物語を生成し、その状態から質問と正解を自動的に作るベンチマークです。人間の心そのものを再現するのではなく、物語中の観察条件に従って、現実の状態と人物の信念を分けて答えられるかを測ります。

ToMiは2018年版の規則性を減らすために作られた

ToMiを提案したのは、2019年のEMNLP-IJCNLPで発表されたRevisiting the Evaluation of Theory of Mind through Question Answeringです。基になった2018年のToM-bAbIも、サリーとアン型の誤信念課題を質問応答へ変換していました。

ところが2018年版では、真の信念、誤信念、二次の誤信念を別々のテンプレートで生成していました。そのため、「exitedが現れない物語は真の信念」といった表面上の規則が残り、人物名を追わなくても、質問中の語と物体・退出文の位置だけで全問を解く規則を作れました。ToMiは、三種類の物語を一つのランダム生成器から作り、生成後に種類を判定して同数になるまで採用する方式へ改めています。

二人の中心人物と一人の撹乱役を同じ世界で動かす

補足資料の生成手順では、場所を二つ、物体を一つ、容器を二つ、中心人物を二人選びます。二人は同じ場所へ入り、物体が最初の容器にあることを知ります。その後、片方が物体をもう一方の容器へ移し、もう片方の退出や再入室を前後に組み合わせます。

移動時にその場にいれば新しい位置を知り、不在なら以前の位置を信じ続けます。退出、移動、再入室の順序はランダム化され、再入室先も元の場所か別の場所から選ばれます。さらに三人目が0～2回出入りし、人物が物体を好き・嫌いと述べる無関係な文も0～2件挿入されます。人物名、場所、物体、容器も候補集合から選ばれるため、物語は人手で収集したものではなく、コードと文テンプレートによる合成データです。

重要なのは、物語の種類を先に決めて専用テンプレートへ流し込まないことです。同じ生成規則を実行した結果として、全員が移動を観察した「真の信念」、一人が見ていない「誤信念」、一人が他者の信念を誤って捉える「二次の誤信念」が生まれます。生成器は各種類を判定し、割当数を満たしたものだけを残します。

人物別の信念を二層の表として更新する

公式リポジトリの生成コードは、物語とは別に正解を知るオラクルを持っています。オラクルが管理するのは、物体の実際の容器、人物ごとの一次信念、人物が他者の信念をどう捉えているかという二次信念です。

物体の初期位置が提示されると、その場の人物の一次信念と、互いについての二次信念が同じ容器へ設定されます。物体が移されると現実状態は必ず更新されますが、一次・二次信念が更新されるのは移動を観察した人物だけです。再入室した人物は、その場所にある物体の現在位置を知ります。この更新規則により、「読者には見えているが人物には見えていない出来事」を、正解計算に使えるデータ構造へ変えています。

一つの物語へ6問を付けて状態の区別を確かめる

各物語には、初期位置を問う記憶質問が1問、現在位置を問う現実質問が1問、二人それぞれの一次信念質問が2問、二方向の二次信念質問が2問、合計6問が作られます。一次・二次信念の答えはオラクルの信念表から、記憶と現実の答えは開始時と終了時の物体位置から取り出されます。人が物語を読んで正解を付ける工程ではありません。

公式配布アーカイブには、学習・検証・テストの各分割に5,994件の質問応答があります。6問で一組なので、各分割は999物語、全体では2,997物語と17,982件の質問応答です。各分割には、真の信念、誤信念、二次の誤信念が333物語ずつ含まれます。質問ごとの正解率に加え、論文は同じ物語の6問をすべて正解した場合だけ、その物語を正解と数えるjoint accuracyを提案しました。

現実質問と記憶質問は偶然の正解を見分ける

誤信念質問だけに正解しても、モデルが人物の視点を追えたとは限りません。古い位置を機械的に答えれば、誤信念質問には当たっても、現実質問には外れます。反対に最新の位置だけを答えれば、現実質問には当たっても、不在人物の信念を取り違えます。記憶質問と現実質問を同じ物語へ付けることで、開始状態、現在状態、人物別の信念を同時に区別できたかを確認できます。

2019年論文が示したのは、制御質問を置くだけでなく、関連する回答を一組として評価する必要性です。2018年版を100％解けた人物非依存の規則は、ToMiでは質問単位の平均が77.5％、6問すべてを求めるjoint accuracyが36.5％まで下がりました。ただし、ToMiにも有限の語彙、固定された質問文、単純化された観察規則があります。高得点は、この人工世界の状態更新を解けた証拠であり、未知の会話相手の心を幅広く理解した証拠とは分けて考える必要があります。

人工物語は正解を明確にできるが会話の曖昧さを持たない

ToMiでは、同じ場所にいる人物は出来事を観察し、不在人物は観察しないという規則を置けます。そのため、人物別の情報状態と正解を大量かつ一貫して生成できます。一方、自然な会話では、同席していても聞いていない、発話の宛先が一人だけ、伝聞を疑っている、暗示を別の意味に解釈するといった状態が生じます。ToMiはこうした曖昧さを切り離し、観察履歴と信念更新だけを検査する診断課題です。

後続のFANToMは、複数人物が出入りする生成会話へ対象を広げ、誰がどの発話へアクセスできたかを複数形式の質問で確かめます。ToMiの記事ではその会話設計へ踏み込まず、人工世界の状態表から正解を作れることに焦点を置くと、両者の役割を分けて理解できます。

日本語では主語省略と情報源の表現をどう扱うか

ToMiの英語文では、「誰が入室したか」「誰が物体を移したか」が各文に明示されています。日本語へそのまま置き換えた制御版でも、最初は行為者を明示した方が、人物別の信念状態を正しく更新できているか確認しやすくなります。そのうえで、「箱から出して棚へ置いた」のように主語や目的語を省略した対照版を作れば、信念推論の失敗と、行為者や対象の特定に失敗した場合を分けて分析できます。

直接観察と伝聞を分けること自体は、日本語だけの問題ではありません。ただし日本語では、「移したのを見た」「移したと聞いた」「移したらしい」「移したそうだ」のように、助動詞や引用表現によって情報源や確実性が変わります。行為者、観察者、発話者、宛先、情報源を別項目として記録し、どの表現なら人物の信念を更新するのかを先に決める必要があります。

敬語や呼称も、人物関係や発話の宛先を推定する手掛かりにはなりますが、その人物が情報を受け取った証拠とは限りません。同じ内部状態について、人物名と行為者を明示した文、自然に省略した文、伝聞として伝えた文を用意すると、知識状態の追跡と日本語の照応・情報源解釈を分けて評価できます。