「右上にあるブロックを動かして」と頼んだのに、相手が別のブロックを指したとします。そのとき人は、「それではなく、もう一つ左のブロック」と言い直します。

このように、相手の応答によって誤解に気づき、次の発話で訂正することを対話研究ではThird Position Repair（第三位置修復）と呼びます。BLOCKWORLD-REPAIRSは、この修復過程を画像と対話の組み合わせとして記録したデータセットです。

本記事は公開論文と公開データセットの紹介です。株式会社イングクラウドが当該研究へ関与したことを示すものではありません。

今回取り上げる論文とデータセット

Repairs in a Block World: A New Benchmark for Handling User Corrections with Multi-Modal Language Modelsは、2024年のEMNLPで発表されました。論文とともに、コードとデータも公開されています。

誤解は三つの発話で見えてくる

この研究が扱う修復は、次の順序で起こります。

1. 人がブロックを動かすよう指示する
2. ロボットが対象だと思うブロックや位置を示す
3. 間違っていれば、人がその誤解を訂正する

訂正発話だけを読んでも、「それではなく左のもの」が何を指すかは分かりません。最初の指示、ロボットが誤って示した場所、盤面の画像を合わせて初めて意味が決まります。

誤りを意図的に起こして修復を集めた

参加者は仮想空間の盤面を見ながら、ロボットへブロックの移動を指示しました。ロボットは70％の確率で正しい対象を示し、残りでは誤った候補を示します。参加者は、その誤りを見て自然な言葉で訂正しました。

品質上の問題がある対話を除いた結果、795対話、最初の指示795件、移動元に対する修復629件、移動先に対する修復635件の計2,059エントリーが収録されています。

「言い直し」だけでなく視覚情報が必要になる

「もう一つ右」「私が言ったのは手前の青いもの」のような表現は、発話だけでは解釈できません。盤面、候補となる物体、ロボットが指した位置、直前までの対話を対応付ける必要があります。

これは、人の訂正を受け取るAIには、最新の発話だけを処理するのではなく、いったん作った解釈を書き換える能力が必要であることを示しています。

人の評価でも修復後に正答率が上がった

研究では22人による対面評価も行われました。移動元のブロックを選ぶ正答率は、最初の指示だけでは68％でしたが、修復を読んだ後は75％へ上がりました。一方、評価した視覚言語モデルはいずれも人より大きく下回りました。

訂正発話があるだけで必ず解決するわけではありませんが、人は相手の誤った選択を手がかりにして、訂正の焦点を理解できます。

日本語で作る場合の論点

• 最初の指示、誤った応答、訂正、再応答を同じ対話IDで結ぶ
• 「違う」「そっちじゃない」だけで終わらず、何が正しいか分かる発話を集める
• 画像上の対象や位置をID・座標・バウンディングボックスで記録する
• 自己修正、聞き返しへの回答、相手の誤解を見た後の訂正を区別する
• 修復後に正しい行動へ移れたかも評価する

データ制作の実務で参考になる点

自然会話の録音から誤解だけを探すと、必要な事例がなかなか集まりません。この研究は、複数の解釈が生まれやすい作業環境を作り、一定割合で誤った応答を返すことで、修復発話を計画的に収集しています。

会話の失敗を集めたいときは、「誤解について話してください」と依頼するのではなく、誤解が起き、相手が訂正しなければ課題を完了できない状況を設計する方が自然なデータになります。