同じ「はい」でも、上司への返答と親しい友人への返答では、言葉遣いも距離感も異なります。しかし短い会話だけでは、二人が恋人、友人、同僚のどれかを一つに決められないことがあります。

SCRIPTSは、その曖昧さを残してLLMの関係推論を評価するため、英語と韓国語の映画脚本を対話単位へ切り出し、複数の関係候補を付けたベンチマークです。

SCRIPTSの正解は、映画の公式設定をそのまま転記したものではありません。匿名化された一場面を文化的背景に詳しい評価者が読み、その会話で成立しそうな関係を判断した結果です。

映画脚本を選ぶ条件から設計した

原論文「Are they lovers or friends? Evaluating LLMs’ Social Reasoning in English and Korean Dialogues」は、Eunsu Kim、Junyeong Park、Juhyun Oh、Kiwoong Park、Seyoung Song、A. Seza Doğruöz、Alice Oh、Najoung Kimによる研究で、ACL 2026のLong Papersとして発表されました。SCRIPTSは論文中で、複数ターンの英語・韓国語対話から話者間の社会的関係を推論するベンチマークと位置付けられています。

対象は2000年以降の現代劇です。中世ファンタジーや宇宙人を扱うSFを除きました。刺激の強い場面を抑えるため、英語映画はPG-13以下、韓国映画は15歳以上観覧可までという条件も設けています。

収集した脚本は英語28本、韓国語32本の計60本です。英語版はIMSDbから取得しました。韓国語版は、オンライン資料が少ないため韓国映像資料院（KOFA）を訪問して物理媒体を収集し、公開脚本コミュニティFilmmakersからも取得しています。KOFA資料は利用方針に従い、各脚本の3分の1だけを収集しました。

23,000場面から1,322件をアノテーション対象にした

KOFAで収集した韓国語の物理脚本は、NAVER CLOVA OCRで文字を抽出し、GPT-4oで発話者と台詞を持つ構造へ整形しました。そこで自動処理を確定結果にはせず、評価者が元のPDFと照合して誤りを修正しています。この工程後に得られたのは英語約16,000場面、韓国語約7,000場面です。論文は英語脚本にも同じOCR・GPT-4o処理を行ったとは記していません。

場面の候補は、登場人物が2人または3人で、一定数以上の発話を含むものに絞りました。ただし、論文本文は「3ターン以上」、付録は「4発話以上」と記しており、条件の表現が一致していません。さらに、同じ少数の人物ばかりに偏らないよう、映画内で異なる話者の組み合わせを優先しています。こうして23,000場面から英語698件、韓国語624件、計1,322件を人手評価へ回しました。脚本上の場面をどの規則で最初に分割したかは、公開資料に詳しい説明がありません。

3人が登場する場面も除外していません。ただし推論対象は常に二者関係であり、3人場面では対象とする話者ペアを無作為に一組選びました。最終版に残った3人場面は479件で、英語223件、韓国語256件、全体の41.8％です。登場人物名は自動で[A]、[B]などへ置換し、置換漏れを人が確認しました。これは作品を特定して既知の人物関係で答えることや、名前から性別を推測することを抑えるためです。

関係名を「一つの正解」にしなかった

各対話は3人が評価しました。英語担当17人、韓国語担当14人を募集し、韓国語担当は母語話者、英語担当は米国市民または米国居住10年以上の人としています。全員が米国または韓国の大学・大学院に在籍する18歳以上でした。採用時に3件のサンプル課題を行い、採用後はZoomでガイドラインを説明して、訓練とパイロットを実施しています。

関係名のアノテーションは、次の非対称な手順で作られました。

1. UNLIKELY：家族、友人、恋愛、職場、教育、医療など既定の27関係から、会話と明らかに矛盾するものを選ぶ。3人中2人以上が選んだ場合だけ「ありそうにない」と確定する。
2. HIGHLY LIKELY：会話から強く支持される関係を、評価者が一人5件まで自由記述する。「mother-child」と「mom-child」のような表記を標準化し、3人の回答の和集合を残す。
3. LESS LIKELY：既定候補のうち、HIGHLY LIKELYにもUNLIKELYにも入らなかった関係を中間層とする。

否定ラベルには多数決を求める一方、もっともらしい関係は少数意見も残します。これにより、一つの会話へ平均3.67件のHIGHLY LIKELYが付きました。評価者3人のHIGHLY LIKELYに一つも重なりがない対話は信頼性が低いとして除外され、1,322件から13.2％を落とした結果、英語580件、韓国語567件、計1,147件になりました。

親密さ・形式性・上下関係は別の評価項目

「友人」「夫婦」「上司・部下」といった関係名と、親密さ・形式性・上下関係は同じラベルではありません。後者は関係推論を分析するための補助的な評価軸です。評価者はそれぞれを5段階で判断し、最終データでは3段階へまとめて多数決を取りました。

• 親密さ：非常に親密から非常に非親密まで
• 形式性：非常に形式的から非常に非形式的まで。公開データではtask-oriented／pleasure-orientedという表現も使われる
• 上下関係：A>>B、A>B、A=B、A<B、A<<B

この分離によって、「友人なら必ず親密・対等・非形式的」とは扱いません。実際、友人と評価された対話の40％超は、その典型的な三軸の組み合わせから外れていました。関係名を先に決め、その名称から三軸を自動入力しない設計が、珍しい組み合わせを残しています。

一致しやすい判断と割れやすい判断を分けて測った

複数ラベルを選べる関係名には、単一ラベル用の一致率ではなく、評価者ペア間のJaccard類似度を使いました。HIGHLY LIKELYは英語0.266、韓国語0.343と低めですが、UNLIKELYは英語0.837、韓国語0.694です。もっともらしい関係の自由記述は割れやすく、明らかに矛盾する候補は比較的一致しやすいことが数値にも表れています。

三軸の一致度は全件で、上下関係が英語0.333・韓国語0.462、形式性が0.408・0.469、親密さが0.314・0.375でした。中立以外を2人以上が選んだ対話に限ると値は上がります。SCRIPTSは不一致を消して単一の「正解らしさ」を装うのではなく、どの項目で判断が割れたかも公開データに残しています。

英語と韓国語を同じ閉じたラベル表へ押し込まない

両言語には友人、知人、同僚、上司・部下、親子など共通する関係があります。一方、HIGHLY LIKELYは自由記述を言語ごとに正規化したため、ユニークな関係名は英語230種、韓国語617種でした。韓国語だけで確認された例には北朝鮮兵士と市民、巫堂と依頼者、家庭教師と生徒があり、親族関係も兄と弟、兄と義姉のように細かく表されます。英語側にはfather figure／mother figureと子ども、共同養育者、ベビーシッターと子どもなどがありました。

付録のモデル向け候補リストでも、英語のFriendsに対し、韓国語は「親友」と「友人」を分けています。したがって、英韓の対話件数は比較できますが、617種と230種をそのまま文化ごとの関係の多さと読むことはできません。自由記述の語彙、正規化の粒度、言語固有の呼称が同時に影響します。

類似データを作るときに持ち帰れる設計

参考になるのは、関係性の曖昧さを捨てず、強い候補、弱い候補、明らかな矛盾へ分けた点です。ただし、自由記述の和集合をHIGHLY LIKELYにする方式では、一人だけが挙げた関係も残ります。個々の回答、正規化後の語、支持人数、最終集合を別列で保存すれば、用途に応じて閾値を変更できます。

日本語へ応用するなら、関係名と三つの評価軸を分け、敬称や敬語の切り替えだけで関係名を確定しないことが重要です。評価者には日本語能力だけでなく、日本での生活経験や対象場面への文化的習熟条件を設け、採用課題と小規模パイロットで判断基準を確認できます。