LLMの回答を比較する、文章の自然さを評価する、画像の印象を判定する。AI開発では、人の判断を正解データや評価指標として利用する機会が増えています。

しかし、評価を依頼した参加者が、設問を別の生成AIへ入力し、その回答を提出していたらどうでしょうか。人間の評価を集めたつもりが、別のAIの出力を測っている可能性があります。

本人確認と本人による回答は別である

身分証明書や顔認証によって参加者本人であることを確認しても、その人が自分で判断したことまでは保証できません。生成AI、検索、翻訳ツール、家族や同僚の助けを使う可能性があります。

研究で禁止する支援と許可する支援を決め、参加者へ具体的に説明します。

生成AIを使いやすい課題がある

• 長文の要約
• 自由記述の作成
• 複数案の比較理由
• 専門知識が必要な回答
• 大量の反復評価

作業負担が大きく、回答をコピーしやすい課題ほど、外部ツールを使う誘因が強くなります。報酬が出来高制の場合、速く処理するほど参加者に有利になることもあります。

注意確認問題だけでは分からない

指示を読んだか確認する設問は役立ちますが、生成AIの利用を直接検出するものではありません。AIも注意確認問題へ正しく答えられる場合があります。

回答時間、入力履歴、コピー＆ペースト、キーストローク、自由記述の一貫性などを組み合わせて確認します。ただし、これらも絶対的な判定ではなく、参加者への説明とプライバシー配慮が必要です。

課題設計によって代理回答を減らす

不正検出だけでなく、本人が回答しやすい設計にします。

• 一度に処理する件数を減らす
• 判断基準と見本を明確にする
• 所要時間に見合う謝礼を設定する
• 個人的経験や直前に提示した刺激と結び付ける
• 判断理由を短く説明してもらう
• 同じ参加者の回答傾向を確認する

生成AIの利用を許可する研究もある

研究目的によっては、生成AIを使う人の行動自体が対象になります。利用を一律に禁止するのではなく、何を測りたいのかに合わせて条件を決めます。

AI利用あり・なしを分ける場合は、利用したツール、入力内容、修正内容を記録すると分析しやすくなります。

人手評価の前提をデータと一緒に残す

誰を募集し、何を説明し、どのツールを禁止または許可し、どの回答を除外したかを記録します。人手評価はラベルだけでなく、その判断が作られた条件まで含めて管理する必要があります。