「女性がボウルへ材料を入れ、泡立て器を手に取った」。この次には、材料を混ぜる場面が続きそうです。人は動作の順序や道具の使い方を知っているため、文章に書かれていない続きを予測できます。

SWAGは、短い場面の次に起こりそうな出来事を四つの候補から選ぶ英語データセットです。文章の知識だけでなく、現実の行動がどのようにつながるかという常識を評価します。

本記事は公開論文と公開データセットの内容を紹介するものです。株式会社イングクラウドが当該研究またはデータセットの制作へ関与したことを示すものではありません。

今回取り上げる論文とデータセット

SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inferenceは、Rowan Zellers氏らがEMNLP 2018で発表した研究です。

SWAGには約11万3千件の四択問題が収録されています。前半の場面を読み、四つの候補からもっとも自然な続きを選びます。

物語ではなく、現実の動画を出発点にした

問題の素材には、動画内の動作を文章で説明したキャプションが使われました。映像で実際に連続して起きた行動をもとにするため、現実から離れた物語を自由に考えるより、身体動作や道具の使い方に根差した問題を作れます。

例えば、人がドアへ近づき、手を伸ばした場面の続きとしては、ドアを開ける行動が自然です。突然料理を始める候補は、文法的に正しくても場面の連続性がありません。

SWAGが評価するのは、次の単語を当てる能力だけではありません。登場人物の姿勢、目的、物の位置、行動の順序を補い、場面として自然な続きを選ぶ能力です。

正解よりも誤答を作る方が難しい

選択問題では、一つの正解と複数の誤答が必要です。しかし、人が適当に誤答を書くと、文章が短い、不自然な語が多い、否定表現が含まれるなど、正解とは別の特徴が生まれます。

するとAIは場面を理解せず、「人が書いた正解らしい文章」を見分けるだけで得点できてしまいます。これは選択式データセットで繰り返し起きる問題です。

AIが見抜きやすい誤答をAdversarial Filteringで除いた

SWAGでは、多数の続き候補を作った後、Adversarial Filteringという方法で誤答を選びました。

候補の一部を使ってモデルを学習させ、モデルが簡単に正解と区別できる誤答を外します。代わりに、文章表面だけでは判別しにくい候補を残します。この処理を繰り返し、人間には不自然だと分かるが、単純なモデルには見破りにくい誤答を選びました。

ここでAIはデータを作る側の検査役として使われています。人が候補を書き、モデルが弱点を発見し、その結果を受けて問題の難度を上げる工程です。

難しい問題と曖昧な問題は違う

誤答を正解に近づけすぎると、複数の候補が自然に見える問題になります。モデルに難しい問題を作れても、人間にも答えられなければ評価データとして機能しません。

そのため、最終的には人が問題を解き、正解が妥当かを確認します。AIにとって難しく、人間には場面の常識から答えられるという差を作る必要があります。

評価データの制作では、モデルの正答率だけでなく、人間同士の一致率や、複数の答えが成立しないかも確認すべきです。

日本語で作るなら動作をどこまで文章化するか

日本語の次文予測データを動画から作る場合、キャプションの粒度によって問題の性質が変わります。

• 見えている動作だけを書くのか、目的も補うのか
• 人物や物体をどの名前で統一するか
• 動作の開始と完了をどこで区切るか
• 複数人の同時行動をどう記述するか
• 映像にない感情や意図を推測してよいか

収録前にアノテーション単位と記述規則を決めなければ、同じ映像でも作業者ごとに異なる場面説明になります。

SWAGから分かるデータ制作上の教訓

自然な正解を大量に集めるだけでは、よい評価データにはなりません。モデルが目的外の特徴を利用できないよう、誤答の品質まで管理する必要があります。

• 実際の動画や行動記録を問題の土台にする
• 正解と誤答の文章上の特徴をそろえる
• 既存モデルを使って簡単な問題を見つける
• 最後は人が曖昧さと自然さを確認する
• 新しいモデルが解けるようになったら評価データも更新する