2026年10月1日
「良い回答」をどう採点する？LLM評価ルーブリックの作り方
「良い回答を5点満点で評価してください」と評価者に依頼しても、何を良いとするかが人によって違えば点数は比較できません。社内規程の回答なら根拠と適用条件、要約なら原文の内容を保った短縮、顧客対応なら質問への対応と禁止事項、アイデア生成なら条件への適合や発想の幅が重要になります。 ルーブリックは、こうした利用場面ごとに「何を見て、どの状態なら何点か」を定める採点…
人手評価
-
-
2026年9月29日
LLMの選好データはどう作る？A/B比較・同点・判断理由の記録方法
同じ質問へのLLM回答を二つ並べて「どちらがよいか」と尋ねても、評価者が正確さを重視するのか、読みやすさを重視するのかが決まっていなければ、票の意味はそろいません。片方は詳しいが条件を一つ間違え、もう片方は短いが必要事項を省いている場合、何を選べばよいのでしょうか。 選好データを作る最初の仕事は、何についての好みを集めるか決めることです。製品の利用者が受け取…
-
2026年9月18日
対話AIはいつ聞き返すべきか
「Fickle Creek Farmについて知りたい」と言われても、場所を知りたいのか、商品を購入できる場所を探しているのかは分かりません。対話AIが一つの意味を選んで回答すると、利用者が求めていない情報を返す可能性があります。 一方で、意味を一つに絞れる要求にまで毎回聞き返すAIも使いにくいものです。確認質問を扱うには、質問文を生成できるだけでなく、「この…
-
2026年9月18日
文化の異なる評価者へ同じ社会規範を尋ねる研究
同じ社会規範を複数の国で尋ねても、回答の違いがそのまま「文化差」とは限りません。片方では若いオンライン利用者が多く、片方では年齢層が広ければ、参加者構成の差かもしれません。翻訳の表現や、各国での募集経路も回答を変えます。 The Moral Machine experimentは、自動運転車の避けられない事故を題材に、世界233か国・地域から3,961万件の…
-
2026年9月18日
評価者によって善悪の判断が違うとき、正解をどう決めるか
同じ行為を読んでも、ある人は「投稿者が悪い」、別の人は「相手が悪い」と判断します。10人中6人と10人中10人の多数派ラベルを同じ「正解」にしてしまえば、意見の割れ方は消えます。では、評価者によって善悪の判断が違う課題で、正解はどう作ればよいのでしょうか。 SCRUPLESは、この問題を「普遍的な道徳の決定」ではなく、あるコミュニティの判断分布を予測する課題…
-
2026年9月18日
誰を助けるべきかを問うMoral Machine
自動運転車のブレーキが突然故障し、直進しても進路を変えても誰かが犠牲になるとしたら、どちらを選ぶべきでしょうか。乗員と歩行者、1人と5人、子どもと高齢者、信号を守る人と違反する人。条件が変われば、人の判断も変わるのでしょうか。 Moral Machineは、こうした架空の事故場面を二択で提示し、世界中のウェブ利用者から判断を集めたオンライン実験です。一次論文…
-
2026年9月18日
冗談の面白さを人はどう評価する？Humicroedit
冗談を「面白い／面白くない」の二択で分類するだけなら、評価者に文章を読んでもらえばデータは作れそうです。しかし、どの言葉を変えると笑いが生まれるのか、同じ冗談を人によってどの程度違って評価するのかまで調べるには、元の文章、変更箇所、複数人の点数を対応させる必要があります。 Humicroeditは、英語のニュース見出しに小さな置換編集（micro-edit）…
-
2026年9月18日
相談相手へ共感的に応答する方法を集めたESConv
共感的な返答は、単に「大変でしたね」と言えば成立するものではありません。まず事情を聞くべきか、感情を言葉にして返すべきか、それとも具体策を提案できる段階なのか。相手の状態と会話の進み方に応じて、応答の役割を選ぶ必要があります。 ESConv（Emotional Support Conversation）は、悩みを話す相談者と、それを支える支援者のテキスト会話…
-
2026年9月18日
AIに道徳や社会規範を教えるデータはどう作るのか｜誰の常識を正解にするか
AIに「してよいこと」と「してはいけないこと」を教えるには、正解付きのデータが必要です。しかし、道徳や社会規範には、計算問題のような唯一の正解がありません。 公共の場で電話をする、友人の秘密を守る、困っている人を手伝う。判断は場面、文化、立場、被害の大きさによって変わります。 規範は辞書ではなく場面の中にある 「嘘は悪い」という原則があっても、人を傷つけない…
-
2026年9月17日
AIは皮肉や遠回しな表現をどう理解する？会話の「言外の意味」を学ぶデータ
「今日も早いですね」という言葉は、出勤が早い人への感心かもしれません。しかし、遅刻してきた人へ向けられたなら、反対の意味を持つ皮肉かもしれません。 「検討します」「少し難しいかもしれません」「大丈夫です」といった表現も、文字どおりの意味だけでは判断できません。話者同士の関係、直前の会話、声の調子、共有している知識によって、承諾、保留、断りなどに意味が変わりま…
-
2026年9月17日
人が評価したAIデータは本当に「人の評価」か｜生成AI時代の本人性確認
LLMの回答を比較する、文章の自然さを評価する、画像の印象を判定する。AI開発では、人の判断を正解データや評価指標として利用する機会が増えています。 しかし、評価を依頼した参加者が、設問を別の生成AIへ入力し、その回答を提出していたらどうでしょうか。人間の評価を集めたつもりが、別のAIの出力を測っている可能性があります。 本人確認と本人による回答は別である…
-
2026年9月15日
Human-in-the-loopとは？人の判断までシステムとして設計するAI時代の業務運用
企業のバックオフィスでも、文章の作成、書類の読み取り、分類、要約などにAIが使われ始めています。しかし、AIへデータを渡した後は、社内の担当者が出力を確認し、間違いを直し、業務システムへ登録しているケースも少なくありません。 AIを導入しても、人の作業がなくなったわけではありません。AIの後ろに確認作業が残り、その部分だけが従来どおりのメール、Excel、担…