文章を読んで嘘かどうかを判定する研究には、大きな問題があります。現実の文章が本当か嘘かを、研究者が確認できるとは限らないことです。

Deceptive Opinion Spamの研究では、実在するホテルの真正レビューと、クラウドワーカーへ依頼して作った虚偽レビューを組み合わせ、真偽が分かる比較データを作りました。

実験で依頼されて書いた虚偽レビューと、利害関係者が現実に投稿する虚偽レビューは同じではありません。データの正解が明確になる一方、実利用場面との差が生じます。

今回取り上げる論文

Finding Deceptive Opinion Spam by Any Stretch of the Imaginationは、2011年のACLで発表されました。後にACL 2021 Test of Time Awardを受賞しています。

自然な虚偽レビューには正解が付いていない

レビューサイトから文章を集めても、投稿者が本当に宿泊したか、報酬を受けて書いたかを文章だけから確定できません。疑わしいレビューを「嘘」として集めると、最初からラベルに誤りが混ざる可能性があります。

虚偽レビューを作業者に書いてもらう

研究では、実在するホテルに好意的な虚偽レビューを書くようクラウドワーカーへ依頼しました。作業者はホテルに宿泊していないため、依頼によって作られた文章が虚偽であることを確認できます。

比較対象となる真正レビューには、旅行サイト上で宿泊確認の仕組みを通ったレビューが使われました。

文章以外の条件をできるだけそろえる

真偽以外の違いから分類されないよう、同じ都市、ホテル、肯定的評価などの条件を合わせます。虚偽レビューだけが別のホテルや別の評価傾向であれば、AIは嘘ではなくホテル名や評価語を覚えてしまいます。

人間にも見分けにくい

自然な文章で書かれた虚偽レビューは、人が読んでも簡単には判定できません。もっともらしい文章を生成できることと、実体験に基づいていることは別です。

実験で作った嘘には限界がある

• 実際の金銭的利害や発覚リスクがない
• 作業者が短時間で文章を作る
• 本物の投稿者と属性が異なる可能性がある
• 依頼文の表現が文章へ影響する
• 一種類の肯定的レビューに対象が限定される

正解を確定しやすくするほど、現実の欺瞞から離れる可能性があります。評価時には別の収集方法や実データでも確認する必要があります。

データ制作で参考になる点

真偽を後から推測するのではなく、収集方法によって正解を作っています。また、真偽以外の条件をそろえ、モデルが別の特徴を覚えないようにしています。