映像の場面説明を読んで、その後に続く行動を四つの文章から選ぶ。SWAGは、動画に対応する連続したキャプションを出発点に作られた英語の四択データセットです。ただし、問題を解くモデルへ動画そのものは渡しません。文章で与えられた場面に合う続きを選ぶ、grounded commonsense inference（現実の状況に基づく常識推論）の課題です。

名称はSituations With Adversarial Generationsの略です。原論文「SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference」は、Rowan Zellers、Yonatan Bisk、Roy Schwartz、Yejin Choiの4人が2018年のEMNLPで発表しました。焦点は、正解と誤答をどう作り分ければ、文章の表面的な違いだけで正解を当てられない問題になるかという点です。

正解の出発点は、連続する動画キャプション

論文第2節によると、素材はActivityNet CaptionsとLarge Scale Movie Description Challenge（LSMDC）の、時間的に連続する二つのキャプションです。前者は活動を説明した動画、後者は映画の場面説明などに由来します。二つの出典は、学習用・検証用・評価用のいずれにも含まれています。映画の脚本を自由な短編物語へ書き換えた課題でも、映像認識をモデルに直接行わせる課題でもありません。

一つ目のキャプションを場面の文脈にし、二つ目のキャプションを構文解析で冒頭の名詞句と後続の動詞句に分けます。モデルに示すのは、一つ目の文と二つ目の文の書き出し、そして続きに当たる動詞句の四択です。原論文の図1は、元のキャプションの続きを正解候補として使う流れを示しています。公開データでは、正解の出典を表す項目によって、元キャプション由来か生成文由来かも区別できます。

誤答候補は言語モデルで大量に生成した

誤答を人が自由記述で三つずつ書いたわけではありません。論文第3.3節では、BookCorpusで事前学習し、動画キャプションで追加学習したLSTM言語モデルを使用しています。二つ目のキャプションの書き出しを与え、各問題について異なる続きの候補を1,023個生成しました。候補を作るモデルが当該問題の元の続きに学習中に触れないよう、データを五分割して別々の言語モデルを学習させています。

この1,023という数字は公開問題数でも最終的な選択肢数でもなく、フィルタリング前の生成候補数です。元のキャプションと似た話題の語を含んでいても、動作のつながりがおかしい候補や英文として崩れた候補があります。最終的な問題は、正解一つと誤答三つで構成されます。

Adversarial Filteringで見分けやすい候補を入れ替える

論文のアルゴリズム1と第3.4節では、大量の生成候補から各問題について九つの誤答候補を残す途中段階を説明しています。各反復で事例を無作為に学習用80％と判定用20％に分け、学習側で正解と誤答を区別する分類器を訓練します。この80対20はフィルタリング内部の分割で、公開データの学習・評価分割とは別です。

判定側では、分類器が正解と区別しやすかった誤答を、候補集合の外にある、分類器が正解らしいと誤認する生成文と入れ替えます。一反復で最大二つを交換し、分割と学習を変えて繰り返します。分類器は文章の長さや言語モデルの予測しやすさを使うMLPに加え、単語の集合、CNN、品詞情報を用いる双方向LSTMを組み合わせたものです。著者の公開コードでは、MLPによる事前の反復と、モデルを組み合わせた反復を実装しています。

論文の擬似コードは収束まで反復すると記し、公開コードではMLPによる前段を100回、複数モデルを組み合わせた後段を50回繰り返します。図2では分類器の正答率が約60％から、無作為に近い水準へ下がる様子を示しています。これは、選んだ分類器が利用できる文体上の手がかりを減らす処理です。あらゆる偏りが消えたことや、完成した問題が常識だけで解けることを証明するものではありません。

人は六つの続きを評価し、正解の扱いも決めた

フィルタリング後、Amazon Mechanical Turkの作業者には、文脈と元キャプション由来の続き一つ、生成された続き五つを提示しました。各候補を「もっともらしい」「ありそうにない」「英文として不成立」に分類し、最良と次点の続きを選んでもらいます。元キャプションの続きが上位二つに入れば、それを正解に採用し、不適切な生成候補を除いて誤答を選びます。十分な候補が残らない問題は除外または候補を替えて再評価しました。

注意点は、学習用には生成文を正解とする追加事例も含まれることです。生成文が最良、元キャプションが次点と判定された場合、著者らは同じ文脈から、生成文を正解とする別の学習事例を追加しました。この方法は検証用・評価用には適用していません。公開通常版の学習用73,546件のうち25,618件は、正解の出典を表すgold-sourceがgenです。検証用と評価用は全件goldで、元キャプション由来の続きを正解としています。

人手検証は全問題を複数人で判定したわけではありません。論文第3.5節では、最初の1,000事例で判断の一致を確認した後、残り約11万2千事例は一人ずつが評価し、定期的に元キャプションの続きへの選好を確認したと述べています。こうした候補選別の作業と、完成した四択問題を解いて測った人間の正答率は、別の評価です。

公開CSVは113,557問、評価用の正解番号は非公開

著者が公開する通常版CSVをヘッダー行を除いて数えると、原論文がいう「約11万3千件」は次の内訳です。

通常版にはvideo-id、fold-ind、startphrase、sent1、sent2、gold-source、ending0～ending3などがあり、学習用と検証用のlabelは正解の選択肢番号0～3を示します。評価用にはlabelがありません。別のtrain_full.csvとval_full.csvには、正解と生成候補への人手評価などが入り、通常版と同じ問題を別形式で収録しています。これらを通常版へ足して問題数を倍に数えることはできません。

公開CSVのvideo-idは三つの分割間で一致しません。一方、LSMDCに由来する問題では同じ映画作品を示すIDの部分が各分割に現れます。動画IDの非重複と映画作品単位の分離は、異なる条件です。

88％と59.2％は、2018年の評価条件で読む

原論文第4節・表3では、完成した問題から選んだ100問に五人の作業者が回答し、多数決の正答率は88.0％でした。論文で比較したモデルのうち、元キャプション由来の事例で学習し、文脈を含めて解いたESIM＋ELMoの評価用正答率は59.2％です。これは論文発表時のモデルと、その実験条件での結果です。五人が全113,557問に回答した値でも、現在のAI全般の上限でもありません。

著者らが抑えようとしたのは、生成文と元キャプションに残る文体の違いです。論文も、意味に関する別の偏りまで除いたとは述べていません。動画の出来事に基づく問題でも、解答時の入力は文章です。この点を踏まえると、得点を映像理解の能力そのものや、常識全般の理解度に置き換えることはできません。

日本語で作る場合は、続きの出典と採用理由を残す

同様の日本語問題を設計する場合には、どの連続した場面説明を使い、二つ目の説明のどこを共通の書き出しにしたか、正解が元の記述か生成文かを記録する方法が考えられます。誤答についても、生成候補、フィルタリングで残した候補、人による評価と最終採用の関係を追えるようにすることが検討点になります。これはSWAGの制作工程を参考にした設計上の論点であり、日本語だけに固有の性質を前提としたものではありません。