冗談かどうかを分類するだけでなく、「どの程度面白いか」をデータにするにはどうすればよいのでしょうか。面白さは人によって違い、話題を知らなければ理解できない冗談もあります。

Humicroeditは、実際のニュース見出しの一部分を置き換えて冗談を作り、その面白さを複数人が評価したデータセットです。

ユーモアの評価は、文化、年代、知識、個人の好みによって変わります。このデータセットの点数が普遍的な面白さを示すものではありません。

今回取り上げる論文

“President Vows to Cut <Taxes> Hair”: Dataset and Analysis of Creative Text Editing for Humorous Headlinesは、2019年のNAACLで発表されました。

元の見出しを一部分だけ変える

作業者には通常の英語ニュース見出しが提示され、その一部分を別の語へ置き換えて面白い見出しを作るよう依頼しました。多くは一語の置換です。

文章全体を自由に書き換えないため、元の見出しと編集後の見出しを比較し、どの変更が笑いにつながったかを分析しやすくなります。

15,095件を5人ずつ評価した

Humicroeditには15,095件の編集見出しが収録され、それぞれを5人の評価者が採点しました。一人の判断で「面白い」と決めるのではなく、複数人の評価を集めています。

ユーモアは正解・不正解の二択ではないため、評価の分布そのものに意味があります。同じ見出しを非常に面白いと感じる人と、全く面白くないと感じる人がいても不思議ではありません。

作る人と評価する人を分ける

冗談を作った本人は、自分の編集意図を理解しています。別の評価者が読むことで、作り手以外にも笑いが伝わるかを確認できます。

データ制作では、生成作業と評価作業を分け、作業者ごとの癖や自己評価の影響を減らす方法が使われます。

一語の意外性だけで面白さは決まらない

予想外の語への置換は笑いの要素になりますが、意味が通らないだけの編集もあります。元の話題、置換前後の語の関係、人物や出来事に関する知識が組み合わさってユーモアになります。

日本語で作る場合の論点

• 固有名詞や時事情報をどこまで前提にするか
• 漢字、同音異義語、表記の違いをどう扱うか
• 面白さと不快さを別項目で評価するか
• 年代や地域による評価差を残すか
• 評価者が元ニュースを知っているか確認するか

データ制作で参考になる点

元文章を固定し、変更箇所を限定し、作成者と評価者を分けています。自由作文より比較条件をそろえやすく、人手評価の理由を分析しやすい設計です。