冗談を「面白い／面白くない」の二択で分類するだけなら、評価者に文章を読んでもらえばデータは作れそうです。しかし、どの言葉を変えると笑いが生まれるのか、同じ冗談を人によってどの程度違って評価するのかまで調べるには、元の文章、変更箇所、複数人の点数を対応させる必要があります。

Humicroeditは、英語のニュース見出しに小さな置換編集（micro-edit）を加えて冗談を作り、その面白さを別の参加者が採点したデータセットです。原論文「“President Vows to Cut <Taxes> Hair”: Dataset and Analysis of Creative Text Editing for Humorous Headlines」はNAACL 2019で発表されました。

Humicroeditの点数は、米国のクラウドワーカーに「一般の人にも面白いと思われるか」を評価してもらった結果です。文化や政治的立場を超えた普遍的な面白さの正解ではありません。

2017〜2018年のニュース見出しを素材にした

元の見出しは、Redditの「r/worldnews」と「r/politics」へ2017年1月から2018年5月までに投稿されたニュース記事から取得しました。重複を除き、4語未満または20語超の見出しを外したうえで、投稿数の多い英語ニュース媒体25社に絞り、287,076件の候補を作っています。

本収集では、その中から媒体ごとの件数がおおむね均等になるよう5,170件を無作為抽出しました。短い文に多くの情報が詰まり、読者が人物や時事問題について背景知識を持っているニュース見出しを使うことで、わずかな変更が意味と印象をどう変えるかを比較できるようにしています。

変更できる場所をあらかじめ限定した

参加者が見出し全体を自由に書き直したわけではありません。研究チームはStanford CoreNLPによる固有表現認識と品詞解析を使い、置換候補を先に指定しました。固有表現はMicrosoft Knowledge Baseで広く知られているもの、名詞・動詞はWordNet上で品詞が曖昧でないものに限定しています。

編集者は、指定された固有表現または一語の名詞・動詞を、新しい一語の名詞・動詞へ置き換え、「一般の読者にとってできるだけ面白い見出し」にするよう依頼されました。複数語からなる固有表現はまとめて削除できますが、語句全体の追加・削除や「United States」の「「States」だけを変える編集は認められません。予備実験で反意語や最上級表現に偏ったため、形容詞と副詞も置換対象外です。

さらに、罵り言葉、俗語、排泄物を使う冗談、露骨な性的表現、くだけすぎた表現による安易な笑いと、複数の単語をつなげて一語に見せる入力は禁止されました。この制約により、自由作文の面白さではなく、一つの名詞・動詞・固有表現を変えた効果へ分析対象を絞っています。

作る人と採点する人を別々に選抜した

作業にはAmazon Mechanical Turkを利用しました。候補者の基本条件は、米国在住、HIT承認率97％超、承認済みHITが10,000件超です。そのうえで、冗談を作るeditor（編集者）と面白さを判定するjudge（評価者）を別々の適格性試験で選びました。

評価者試験には、研究チームが用意した20件の編集見出しを使用しました。研究チーム内の複数人による平均点を基準とし、面白さの有無に関する誤りが3件以下で、20件の点数が内部評価者の平均から平均0.6以内に収まった人を合格としました。候補者の60％に当たる150人が適格評価者になりました。内部評価者の一致度はKrippendorffのα＝0.57、合格したクラウド評価者では0.64でした。

編集者試験では、候補者が10件の見出しをmicro-editし、合格済み評価者7人が採点しました。作成した見出しの平均点が0.8を超えるか、その試験課題全体の平均点を超えた候補者を採用し、100人、候補者の57.5％が合格しました。なお、本収集中には参加者を追加しているため、論文から最終的なユニーク参加者総数までは確認できません。

一つの元見出しを3人が編集し、各案を5人が採点した

5,170件の元見出しには、それぞれ3人の編集者を割り当てました。同じ見出しから複数の冗談を作ることで、「元のニュースが同じでも、どの語へ置き換えるかによって面白さがどう変わるか」を比較できます。重複などを整理した最終データは、15,095件のユニークな編集見出しです。

各編集見出しは5人の評価者が、次の4段階で採点しました。

• 0：面白くない
• 1：少し面白い
• 2：ほどほどに面白い
• 3：面白い

評価者には、自分の政治的立場や登場人物への態度とは切り離し、「広い読者層が面白いと感じるか」を判断するよう求めました。編集後の見出し単独で面白い場合だけでなく、元見出しからの変化を見て初めて面白くなる場合も評価対象です。データには平均点だけでなく5人分の点数が含まれるため、評価のばらつきも分析できます。

反復作業による偏りを監視した

収集は、一度に大量処理するのではなく、24時間以上の間隔を空けた複数の小規模バッチに分けました。参加者ごとの処理上限を設け、特定の人が他の人より大幅に多く処理した場合は、全体の件数が追いつくまで一時的に参加を止めています。

各バッチの編集後にはスペルミスを検出して人手で修正し、複数語を連結した不正な置換を除外しました。同じ言葉や発想の反復によって驚きが失われる問題には、バッチごとに参加者を無作為に選び、新しい編集者・評価者を追加して対応しました。作業の過半数を担いながら編集案の平均点が0.7を下回った編集者と、同じ案を見た他の4人に比べて低い点を繰り返し付ける評価者も除外しています。

それでも、本収集時の評価者間一致度はKrippendorffのα＝0.20でした。論文はこれを、好み、知識、偏見、政治的立場などが異なるユーモア評価では控えめな一致になる結果として報告しています。「5人で採点したから客観的」というより、不一致を残したまま数値化したデータと見るべきです。

作成10セント、採点2.5セントで収集した

論文によると、見出し1件の編集には10米セント、1件の採点には2.5米セントを支払い、適格性試験を含む総費用は約4,500米ドルでした。短いテキストであっても、編集者と評価者の選抜、5人分の採点、継続的な品質監視に費用がかかっています。

公式配布ページでは、Humicroeditを用いたSemEval-2020 Task 7向けの訓練・開発・テストデータや、後にFunLinesで集めた追加データも公開されています。原論文の15,095件と後発データを混同しないよう、利用時にはファイル名、版、分割を記録する必要があります。

利用前に確認したい限界

• 時事知識に依存する：2017〜2018年の人物・政治・国際ニュースを知らなければ、置換の意外性や皮肉を理解できません。時間の経過で面白さも変わります。
• 参加者層が限定される：米国在住でMechanical Turk経験の多い作業者を選抜した結果であり、年代、地域、母語、文化圏を代表する評価ではありません。
• 「一般受け」を求めた点数である：評価者自身の好みを抑えるよう依頼していますが、政治的立場や価値観を完全には切り離せません。α＝0.20という一致度にも主観性が現れています。
• 一語置換だけを扱う：語りの間、会話相手との関係、長い伏線、声や表情など、現実のユーモアを構成する要素は含まれません。
• 不快さは別に評価されていない：露骨な表現は禁止されましたが、政治家や集団をおとしめる表現、悲惨なニュースを笑いへ変える表現は残り得ます。面白さの点数を安全性や非攻撃性の指標にはできません。
• 再利用条件の確認が必要：公式ページと配布物のREADMEには明確なデータライセンスが示されていません。研究・商用利用の前に、配布条件と元ニュース見出しの権利を個別に確認する必要があります。

日本語で同様のデータを作るなら

日本語では、単語境界が英語のように空白で示されないため、置換単位を形態素、文節、固有表現のどこに置くかを先に決める必要があります。同音異義語、漢字と仮名の表記、固有名詞の略称など、日本語固有の笑いも別のルールで管理した方がよいでしょう。

評価では、面白さだけでなく、不快さ、意味の通りやすさ、元ニュースの認知、対象への攻撃性を別項目にします。評価者の年代、地域、ニュースへの関心などを、本人を特定しない範囲で記録すれば、「平均点は同じでも、誰に評価が分かれたか」を分析できます。Humicroeditは、創作と評価を分け、変更箇所を限定し、評価の不一致もデータとして残す設計の参考例です。