2026年9月18日
相手の信念や知識を推測するTheory of Mind系データ
箱の中のお菓子が、本人のいない間に別の場所へ移されました。戻ってきた本人は、最初にどこを探すでしょうか。 私たちは正しい場所を知っています。しかし、本人は移動を見ていないため、以前の場所にあると信じています。自分の知識と相手の知識を分けて考える能力は、心の理論、英語ではTheory of Mindと呼ばれます。 本記事は公開研究を手掛かりに、他者の信念を扱う…
AI評価データ
-
-
2026年9月18日
道徳的な判断が分かれる事例を集めたETHICS
落とし物を届ける。約束を破る。少数の人を犠牲にして多数を助ける。いずれも道徳に関係しますが、同じ基準だけでは評価できません。 ETHICSは、AIの道徳判断を一つの善悪問題として扱わず、日常的な常識、正義、義務論、功利主義、美徳という五つの領域に分けて評価する英語データセットです。 本記事は公開論文と公開データセットの内容を紹介するものです。データセットの多…
-
2026年9月18日
あり得ない物語をAIはどう見分ける？ARTの仮説推論データ
朝、庭に出ると地面は乾いていました。昼過ぎに窓を見ると、庭がぬれています。この二つの観察の間には、「雨が降った」「誰かが水をまいた」といった出来事が考えられます。 結果から、その原因としてもっとも説明力のある出来事を推定する考え方を仮説推論、英語ではabductive reasoningと呼びます。ARTは、この推論を短い物語の選択問題にしたデータセットです…
-
2026年9月18日
短い物語の次に何が起こるかを問うSWAG
「女性がボウルへ材料を入れ、泡立て器を手に取った」。この次には、材料を混ぜる場面が続きそうです。人は動作の順序や道具の使い方を知っているため、文章に書かれていない続きを予測できます。 SWAGは、短い場面の次に起こりそうな出来事を四つの候補から選ぶ英語データセットです。文章の知識だけでなく、現実の行動がどのようにつながるかという常識を評価します。 本記事は公…