二人が「同僚」だと分かっても、その会話が対等で親しいとは限りません。上司と部下でありながら私生活では友人かもしれず、親子でも、その場では子ども側が判断を主導することがあります。関係名だけでは、会話に現れる距離感や力関係を表し切れません。

SCRIPTSは、英語と韓国語の映画脚本から1,147件の会話を集め、友人・恋人・親子といった関係候補に加え、親密さ、形式性、階層性を別々にアノテーションしたデータセットです。この記事では、三つの軸を実際にどう評価し、意見の不一致をどう処理したのかを確認します。

SCRIPTSのラベルは、匿名化された短い映画場面を第三者が読んで推測した結果です。登場人物の公式設定や、現実の会話当事者が申告した関係性そのものではありません。

「関係名」と「会話中の状態」を分ける

SCRIPTSは、関係を一つの固定ラベルにしません。ある会話について複数の関係名を残し、それとは別に、二人のやり取りが親密か、仕事・課題中心か、どちらに権力があるかを評価します。映画全体に付けた静的な関係ラベルの19%は、個々の会話場面には当てはまらないと評価されました。また、一つの会話には平均3件を超える「非常にありそうな関係」が付きました。

公開データには「判断不能」もあります。曖昧な会話を無理に親密・非親密へ寄せないために必要な選択肢です。なお、形式性は論文中ではformal／informalとして説明されますが、公開データではTask-oriented／Pleasure-orientedという値が使われています。

会話は英米・韓国映画60作品の脚本から作った

研究者が参加者同士の会話を新規収録したのではありません。2000年以降の現代劇から、英語映画28本、韓国映画32本を選びました。暴力的・露骨な場面への接触を抑えるため、英語作品はPG-13以下、韓国作品は15歳以上観覧可までに限定し、中世ファンタジーや宇宙人を扱うSFなどは除外しています。

英語脚本はIMSDbから取得しました。韓国語はオンライン資料が少ないため、韓国映像資料院で紙の脚本を確認し、利用方針に従って各作品の3分の1だけを収集したほか、映画制作者向けオンラインコミュニティも利用しました。紙面はNAVER CLOVA OCRで文字化し、GPT-4oで会話形式へ整形した後、人が原PDFと照合して修正しています。

この工程で英語約1万6,000場面、韓国語約7,000場面を得ました。そこから発話が4件以上あり、話者が2～3人の場面を選び、同じ作品内では異なる人物ペアを優先しました。約2万3,000場面から1,322件をアノテーション候補とし、3人会話では推論対象となる二人をランダムに選びました。

名前を消しても、会話の手掛かりは残る

モデルが作品名や登場人物を記憶して答えること、名前から性別を推測することを抑えるため、人物名は自動的に[A]、[B]などへ置換し、漏れを人手で確認しました。ただし、台詞中の「Daddy」「Professor」のような呼称、学校や職場を示す文脈、命令・冗談・私的相談などは残ります。これらが関係推論の主要な手掛かりです。

そのため匿名化は、関係を示す情報をすべて消す処理ではありません。また映画を知る評価者が、場面だけから出典を推測する可能性も完全にはなくせません。

評価者は文化と言語への10年以上の習熟が条件

各会話は3人が評価しました。英語側は17人（男性7人、女性10人）、韓国語側は14人（男性5人、女性9人）です。全員が米国または韓国の大学に在籍する学部生・大学院生で、18歳以上。韓国語評価者は母語話者、英語評価者は米国市民または米国居住歴10年以上で、対象言語と文化に10年以上の経験を持つ人を採用しました。

募集はUpworkを介し、報酬は各地域の最低時給の1.5倍でした。参加者には映画の短い会話を読み、話者間の役割関係、親密さ・権力・仕事中心か日常的かという側面、推定年齢と性別を付けると説明しました。罵倒語、不快な表現、暴力描写を含み得ることを事前に告知し、同意を取得したうえで、いつでも不利益なく撤回できるとしました。研究はIRB承認を受けています。

関係名は「あり得ない」から先に絞る

関係ラベルは三段階です。第1段階では、家族、恋愛、仕事、教育、医療などを含む既定の27種類から、会話と明らかに矛盾する関係をすべて選びます。3人中2人以上が選んだ場合だけUNLIKELYにしました。高信頼の負例にするため、少数意見だけでは「あり得ない」と断定しません。

第2段階では、最も強く支持される関係を自由記述で最大5件入力します。「mother-child」と「mom-child」のような表記揺れを標準化し、既定カテゴリへ対応付けられるものは統合します。その後、3人が挙げた候補の和集合をHIGHLY LIKELYとして残しました。残りの既定関係がLESS LIKELYです。全員一致だけを正解にしないため、複数のもっともらしい読みを保持できます。

5段階で付け、3段階へまとめる

親密さ・形式性・階層性には定義を示し、それぞれ5段階で回答させました。最終ラベルでは両端側の段階をまとめて3段階にし、多数決を採用しています。たとえば階層性のA≫BとA>BはA>Bへ統合されます。評価の細かさを保ちながら収集し、公開ラベルでは3人で合意しやすい粒度へ落とす設計です。

ただし、強さの違いを畳むと情報は失われます。同種のデータを新規作成するなら、生の5段階回答、集約後ラベル、回答者数、判断不能、合意状態を別々に保存する方が再分析しやすくなります。

品質管理と一致度はどう扱ったか

応募者には採用前に3件のサンプル課題を実施させ、著者が回答を確認しました。採用後はZoomでデータ利用方針とガイドラインを説明し、オリエンテーションと訓練、パイロットを行っています。韓国語脚本のOCR結果も人が原資料と照合しました。

3人のHIGHLY LIKELY候補に一つも重なりがない会話は信頼性が低いとして除外しました。その結果、候補1,322件の13.2%を除き、英語580件・韓国語567件、計1,147件が残りました。複数ラベルなので通常の単一ラベル一致係数ではなく、評価者間の集合の重なりを平均pairwise Jaccardで測っています。

一致度は高いとは限りません。HIGHLY LIKELYのJaccardは英語0.266、韓国語0.343、UNLIKELYは英語0.837、韓国語0.694でした。親密さ・形式性・階層性の一致度は全例で英語0.314～0.408、韓国語0.375～0.469です。明らかに不可能な関係は比較的一致しやすい一方、最もありそうな関係や関係の質には解釈差が残ります。

データの限界：映画の演出と第三者推測

第一の限界は映画脚本であることです。台詞は自然会話の記録ではなく、観客へ人物関係を伝えるために演出されています。英語・韓国語の二言語、60作品、2000年以降の年齢制限付き作品という範囲にも偏りがあります。映像、声、表情、直前の物語を除いた台詞だけでは、本来なら分かる関係を誤る可能性があります。

第二に、評価者は米国・韓国の大学生・大学院生に限られます。文化習熟条件はあるものの、世代・教育背景・地域を代表する標本ではありません。年齢や性別も本人情報ではなく会話からの推測です。また関係名の自由記述を和集合で残す方式は曖昧さを保てる反面、一人だけが挙げた候補もHIGHLY LIKELYに入り得ます。

第三に、親密さ、形式性、階層性は互いに独立とは限りません。「上司だから形式的」「夫婦だから対等」といった典型像に引かれる危険があります。実際、SCRIPTSには典型的な三軸から外れる友人関係が40%以上ありました。関係名から三軸を自動補完せず、場面ごとに別々に評価する必要があります。

現実の対話データへ応用するなら

実際の会話を収録する場合は、第三者の推測だけでなく、当事者それぞれに関係名、知り合った時期、会話外の役割、普段の距離感を尋ねられます。二人の認識が違うときは平均化せず、話者Aの認識、話者Bの認識、第三者評価を分けて保存します。

SCRIPTSには、判断の根拠となった発話範囲のアノテーションはありません。追加するなら、敬称、命令・許可、私的情報、冗談、訂正、話題を終える権限など、評価に使った箇所を選ばせます。ただし一つの敬語や呼称だけを決め手にせず、複数の発話と場面情報を根拠にする作業仕様が必要です。

一次資料・公式配布ページ

• Kim et al., “Are they lovers or friends? Evaluating LLMs’ Social Reasoning in English and Korean Dialogues”
• Hugging Face公式データセット：EunsuKim/SCRIPTS
• 公式GitHubリポジトリ：SCRIPTS