2026年9月18日
物が移されたことを知らない人物をどう作る？ToMiの人工物語設計
物体が別の容器へ移されたとき、移動を見ていた人物と、その場にいなかった人物では、同じ物体について異なる答えを持ちます。評価データにするには、この違いを物語の印象ではなく、「誰が、どの出来事を観察し、物体がどこにあると信じているか」という状態として記録しなければなりません。 ToMiは、登場人物ごとの信念を内部で更新しながら人工物語を生成し、その状態から質問と…
AI評価データ
-
-
2026年9月18日
人は何を「正しい・間違い」と考える？5つの課題に分けたETHICS
「この行動は明らかに間違いか」と問う問題と、「二つの出来事のどちらが快いか」を比べる問題では、同じ道徳判断でも、入力も正解の決め方も違います。ETHICSは文章で示された場面を使い、常識、正義、義務論、功利主義、美徳に関する判断を五つの課題で測るベンチマークです。AIに倫理規則を自ら決定させる課題ではありません。 五つの課題は入力と評価単位が異なる 原論文「…
-
2026年9月18日
あり得ない物語をAIはどう見分ける？ARTの仮説推論データ
朝、庭に出ると地面は乾いていました。昼過ぎに窓を見ると、庭がぬれています。この二つの観察の間には、「雨が降った」「誰かが水をまいた」といった出来事が考えられます。 結果から、その原因としてもっとも説明力のある出来事を推定する考え方を仮説推論、英語ではabductive reasoningと呼びます。ARTは、この推論を短い物語の選択問題にしたデータセットです…
-
2026年9月18日
このあと何が起こる？動画の説明文から続きを選ぶSWAG
映像の場面説明を読んで、その後に続く行動を四つの文章から選ぶ。SWAGは、動画に対応する連続したキャプションを出発点に作られた英語の四択データセットです。ただし、問題を解くモデルへ動画そのものは渡しません。文章で与えられた場面に合う続きを選ぶ、grounded commonsense inference（現実の状況に基づく常識推論）の課題です。 名称はSit…