文章を読んで嘘かどうかを判定する研究には、最初から難しい問題があります。現実に投稿されたレビューを読んでも、その人が本当に宿泊したのか、報酬を受けて書いたのかを、文章だけから確定できるとは限りません。「怪しく見える文章」を嘘と決めてしまえば、検出したい特徴を先に正解ラベルへ混ぜることになります。

Deceptive Opinion Spamの研究は、実在するホテルについて、参加者へ宿泊客を装った虚偽レビューを書いてもらうことで、少なくとも虚偽側の由来が明確な比較データを作りました。原論文「Finding Deceptive Opinion Spam by Any Stretch of the Imagination」はACL 2011で発表され、ACL 2021 Test of Time Awardを受賞しています。

このデータの「deceptive」は、研究者が文章を読んで嘘らしさを判定したラベルではなく、虚偽を書くよう依頼した収集条件から付けたラベルです。一方、「truthful」側は実宿泊を一件ずつ確認したものではなく、虚偽の可能性を減らす条件で抽出した既存レビューです。

20軒のホテルについて肯定的なレビューを集めた

原論文が扱うのは、シカゴ地域でTripAdvisorへのレビュー投稿数が多かった20軒のホテルです。各ホテルについて、肯定的な虚偽レビュー20件と、肯定的な既存レビュー20件をそろえ、400件ずつ、合計800件の英語レビューを作りました。

ホテルと評価極性をそろえるのは、モデルがホテル名や星の数だけで正解できないようにするためです。さらに後述する方法で文章の長さも近づけました。ただし、虚偽側は研究用に新しく書かせた文章、真正側はレビューサイトから取得した文章なので、収集経路そのものは同一ではありません。

虚偽側は「ホテルの宣伝担当者」として書いてもらった

虚偽レビューの収集にはAmazon Mechanical Turkを使いました。400件のHITを20軒へ均等に割り当て、同じ人の書き方が繰り返し入らないよう、1人につき1件だけ投稿できるようにしました。参加条件は米国在住で、過去のHIT承認率が90％以上です。

参加者にはホテル名と公式サイトを示し、「そのホテルのマーケティング部門で働いており、上司から、宿泊客を装った偽レビューを旅行レビューサイトへ投稿するよう頼まれた」と想定してもらいました。そのうえで、現実味があり、対象ホテルを肯定的に描くレビューを書くよう依頼しています。

制限時間は30分、採用された1件の報酬は1米ドルでした。400件の収集には約14日かかり、作業時間は平均8.06分、文章は平均115.75語です。最短の作業時間は5秒でしたが114語あり、研究者はHITを正式に受ける前から文章を用意していた可能性を挙げています。短時間で完了したという理由だけでは除外していません。

ホテル違い、短文、盗用などを除外した

参加者には、対象ホテルを間違えた文章、意味を読み取れない文章、不当に短い文章、盗用した文章などは不採用になると伝えました。「不当に短い」は150文字未満と定義し、盗用は各提出物を盗用検査サービスで確認しています。こうした条件を満たす400件を集めたことで、虚偽側は「依頼によって作られた」「対象ホテルが分かる」「一定の長さがある」という由来と品質をそろえました。

ただし、これは事実関係を一文ずつアノテーションしたデータではありません。レビュー全体にdeceptiveラベルが付き、部屋、接客、立地など個々の記述のどこが創作なのかは示されていません。

真正側は実宿泊確認ではなく、虚偽の混入を減らして選んだ

比較対象には、同じ20軒についてTripAdvisorから取得した6,977件を使いました。そこから、5つ星ではない3,130件、英語以外の41件、150文字未満の75件、初回投稿者による1,607件を除外し、2,124件を候補にしました。初回投稿者を外したのは、過去に投稿歴のないアカウントの方が虚偽レビューを含む可能性が高いという想定によります。

残った候補から各ホテル20件、合計400件を選びました。このとき、真正側だけ文章が長い・短いという手掛かりをモデルが利用しないよう、虚偽レビューの長さに当てはめた対数正規分布に沿って抽出しています。

ここで重要なのは、TripAdvisorが宿泊証明を確認したレビューを集めたわけではない点です。著者らは、レビュー数の多い人気ホテルを選び、初回投稿者を除外することで虚偽混入の影響を小さくしようとしましたが、400件すべてが実体験に基づくことを個別に立証してはいません。正解ラベルの確実さは、虚偽側と真正側で非対称です。

人間による判定は正解作りではなく、見破りにくさの確認に使った

研究チームは当初、Mechanical Turkで真偽判定も試しましたが、報酬効率を上げるため無作為に回答したように見える参加者がいたため、この結果を採用しませんでした。代わりに、大学生のボランティア3人が、無作為に選んだ4ホテルの真正80件・虚偽80件、計160件を判定しました。

3人の正解率は61.9％、56.9％、53.1％で、多数決でも58.1％でした。3人とも虚偽より真正と判断しやすい「truth bias」を示し、評価者間一致度もFleissのκ＝0.11にとどまりました。この人手判定でレビューへ正解ラベルを付けたのではありません。収集条件から分かっているラベルと照合し、作成した虚偽レビューが人間には容易に見破れないことを検証しています。

「約90％の精度」を現実のレビューへそのまま当てはめない

論文では、単語や連続する語などを特徴とする分類器が、ホテル単位で分けた5分割交差検証において約90％の精度を示しました。しかし、これは真正400件・虚偽400件が同数の、収集条件を管理したデータ上の結果です。現実のレビューサイトでは虚偽率、投稿者属性、評価の分布、執筆目的が異なるため、「実際の虚偽レビューを90％見抜ける」という意味ではありません。

モデルは嘘の普遍的特徴ではなく、「Mechanical Turkで指示を受け、ホテルのサイトを参考に想像で書いた文章」と「当時のTripAdvisorに投稿された文章」の違いを学んだ可能性があります。ホテル、極性、長さを合わせても、執筆環境や動機、掲載前の編集、時期といった差は残ります。

原論文版と現在の配布コーパスは件数が異なる

ACL 2011の原論文が報告したのは肯定的レビュー800件です。その後、否定的な真正レビュー400件と虚偽レビュー400件が追加されました。著者配布のDeceptive Opinion Spam Corpus v1.4には、肯定・否定、真正・虚偽の4区分を各400件、合計1,600件収録しています。

配布ファイルはホテル単位の交差検証に対応するfold別ディレクトリへ整理されています。ライセンスはCreative Commons Attribution-NonCommercial-ShareAlike 3.0で、表示・非営利・継承が条件です。特に商用利用は許諾範囲外なので、公開されているから自由に製品へ組み込めるとは限りません。

利用前に確認したい限界

• 真正ラベルは完全な事実確認ではない：投稿履歴などで虚偽の可能性を減らしていますが、宿泊証明や投稿者への確認は行っていません。
• 実験で依頼した嘘である：現実の不正投稿者が持つ金銭的利害、発覚リスク、ホテル内部の知識、複数アカウント運用とは条件が違います。
• 収集元の違いが交絡する：真正側は既存サイト、虚偽側はMechanical Turkであり、モデルが欺瞞ではなくプラットフォームや指示文の影響を学ぶ可能性があります。
• 原論文の対象が狭い：シカゴの人気ホテル20軒に関する英語の5つ星レビューです。商品、飲食店、日本語レビュー、低評価レビューへ直接一般化できません。
• 文書単位のラベルである：どの表現が事実と異なるのか、誇張と完全な創作をどう区別するかは記録されていません。
• 人を断定する用途には向かない：文章だけから個人を「嘘つき」と判断すると、誤検出による不利益が生じます。自動判定は調査対象を絞る補助情報として扱う必要があります。

日本語で同様のデータを作るなら

日本語の虚偽レビュー研究では、真偽以外の条件をそろえるだけでなく、正解ラベルの確度を段階で管理する方法が考えられます。たとえば、依頼により虚偽と確定した文章、購入・利用記録を確認できた文章、投稿履歴から真正らしいと推定した文章を別のラベルにし、確定と推定を混ぜない設計です。

参加者には、対象、評価極性、文字数、参照してよい情報、禁止する転載行為を具体的に示します。品質管理では対象違い、コピー、生成AI利用、事実上空欄の文章を確認し、同一人物の重複を防ぎます。評価データを作る際は、文章だけでなく収集経路やラベル確度を残すことが、モデルの高精度が何に由来するのかを判断する手掛かりになります。