2026年9月18日
遠回しな断りをどのように収集・評価するか｜CIRCA
「今夜、食事に行きませんか」と聞かれて、「明日は朝が早いんです」と返されたら、多くの人は断りに近いと受け取るでしょう。しかし、返答には「いいえ」も「行きません」も含まれていません。反対に、「近くに予約できそうな店があります」は、明示的な「はい」がなくても肯定に見えます。 CIRCAは、Yes・Noで答えられる質問と、Yes・Noを直接使わない英語の回答を組み…
クラウドソーシング
-
-
2026年9月18日
誰を助けるべきかを問うMoral Machine
自動運転車のブレーキが突然故障し、直進しても進路を変えても誰かが犠牲になるとしたら、どちらを選ぶべきでしょうか。乗員と歩行者、1人と5人、子どもと高齢者、信号を守る人と違反する人。条件が変われば、人の判断も変わるのでしょうか。 Moral Machineは、こうした架空の事故場面を二択で提示し、世界中のウェブ利用者から判断を集めたオンライン実験です。一次論文…
-
2026年9月18日
あり得ない物語をAIはどう見分ける？ARTの仮説推論データ
朝、庭に出ると地面は乾いていました。昼過ぎに窓を見ると、庭がぬれています。この二つの観察の間には、「雨が降った」「誰かが水をまいた」といった出来事が考えられます。 結果から、その原因としてもっとも説明力のある出来事を推定する考え方を仮説推論、英語ではabductive reasoningと呼びます。ARTは、この推論を短い物語の選択問題にしたデータセットです…
-
2026年9月18日
人の行動の原因と結果を知識にしたATOMIC
誰かを褒めるという出来事から、その人の意図や相手の気持ち、次に起こりそうな行動を考えることができます。ATOMICは、このような出来事には書かれていない推論を、種類ごとに自由記述で集めた英語の知識グラフです。原論文の表1には、褒め言葉を伝える出来事から、話した人の意図、相手の反応、話した人の人物像を別々に表した例があります。 名称は原論文の脚注でAn ATl…
-
2026年9月18日
嘘を見分ける研究では、どのように正解を作るのか｜Deceptive Opinion Spam
文章を読んで嘘かどうかを判定する研究には、最初から難しい問題があります。現実に投稿されたレビューを読んでも、その人が本当に宿泊したのか、報酬を受けて書いたのかを、文章だけから確定できるとは限りません。「怪しく見える文章」を嘘と決めてしまえば、検出したい特徴を先に正解ラベルへ混ぜることになります。 Deceptive Opinion Spamの研究は、実在する…
-
2026年9月18日
冗談の面白さを人はどう評価する？Humicroedit
冗談を「面白い／面白くない」の二択で分類するだけなら、評価者に文章を読んでもらえばデータは作れそうです。しかし、どの言葉を変えると笑いが生まれるのか、同じ冗談を人によってどの程度違って評価するのかまで調べるには、元の文章、変更箇所、複数人の点数を対応させる必要があります。 Humicroeditは、英語のニュース見出しに小さな置換編集（micro-edit）…
-
2026年9月17日
人の動機や感情を三択問題にしたデータセットSocialIQA
「秘密を話すために相手へ近づいた」「床へ食べ物をこぼしてしまった」。人は、その人物がなぜそうしたのか、次に何をしそうか、どのような気持ちになるかを状況から推測できます。しかし、答えが文中に直接書かれているとは限りません。 SocialIQAは、こうした人の行動や感情に関する推論を三択問題にした英語データセットです。状況を示す文、質問、三つの回答候補をどのよう…
-
2026年9月17日
人が評価したAIデータは本当に「人の評価」か｜生成AI時代の本人性確認
LLMの回答を比較する、文章の自然さを評価する、画像の印象を判定する。AI開発では、人の判断を正解データや評価指標として利用する機会が増えています。 しかし、評価を依頼した参加者が、設問を別の生成AIへ入力し、その回答を提出していたらどうでしょうか。人間の評価を集めたつもりが、別のAIの出力を測っている可能性があります。 本人確認と本人による回答は別である…
-
2026年9月17日
研究参加者募集とクラウドソーシングは何が違う？人を集める前に確認したいこと
オンラインアンケートや簡単な分類作業であれば、クラウドソーシングを使って短期間に多数の回答を集められます。そのため、研究参加者の募集にも同じ仕組みを利用できるように見えます。 しかし、人間の反応や行動を研究する場合と、決められた成果物を納品してもらう場合では、確認すべき事項が異なります。本記事では、研究参加者募集と一般的なクラウドソーシングの違いを整理します…
-
2026年9月17日
必要枚数を集めても使えるデータが不足する理由｜有効データ数の考え方
AI学習用の画像や音声を集めるとき、「1,000人へ依頼して、一人10件なら1万件集まる」と計算することがあります。クラウドソーシングで多数の参加者を募集すれば、短期間で大量のファイルが届くこともあります。 ところが、提出物を確認すると、研究やAI学習に利用できるデータが想定より少ないことがあります。画像がぼけている、音声に雑音が入っている、同じ内容が重複し…
-
2026年9月16日
クラウドソーシングとは？言葉が消えても身近に残る仕組み
「クラウドソーシング」という言葉を、以前ほど聞かなくなりました。 インターネットを通じて仕事を依頼するサービスが注目された時期には、在宅ワークや副業とともに広く使われていました。現在は、AI、アノテーション、ギグワーク、オンラインBPO、Human-in-the-loopなど、別の言葉で説明される場面が増えています。 しかし、クラウドソーシングの考え方がなく…
-
2026年9月16日
多数決でデータ品質は上がる？複数人の一致を品質管理に使う条件
データ入力やアノテーションでは、同じ作業を複数人へ依頼し、回答が一致したものを採用する方法があります。2人の回答が一致すれば確定し、不一致だけを3人目が確認する仕組みもその一つです。 一人の判断だけに頼らないため、直感的には品質が上がりそうです。しかし、複数人が同じ回答をしたことと、その回答が正しいことは同じではありません。作業仕様の読み違いや画面設計の問題…
-
2026年9月14日
Amazon Mechanical Turk終了後の代替サービスを調べた｜研究参加者・データ収集
海外の研究論文を読んでいると、研究参加者の募集やデータ作成にAmazon Mechanical Turk（MTurk）を使ったという記述をよく見かけます。アンケートへの回答、オンライン実験、文章の評価、画像分類など、人に依頼できる作業を小さなタスクとして公開するサービスです。 そのMTurkが、2026年9月30日に終了します。Amazonの案内では、同日以…