2026年9月29日
LLMの選好データはどう作る？A/B比較・同点・判断理由の記録方法
同じ質問へのLLM回答を二つ並べて「どちらがよいか」と尋ねても、評価者が正確さを重視するのか、読みやすさを重視するのかが決まっていなければ、票の意味はそろいません。片方は詳しいが条件を一つ間違え、もう片方は短いが必要事項を省いている場合、何を選べばよいのでしょうか。 選好データを作る最初の仕事は、何についての好みを集めるか決めることです。製品の利用者が受け取…
2026年9月29日
同じ質問へのLLM回答を二つ並べて「どちらがよいか」と尋ねても、評価者が正確さを重視するのか、読みやすさを重視するのかが決まっていなければ、票の意味はそろいません。片方は詳しいが条件を一つ間違え、もう片方は短いが必要事項を省いている場合、何を選べばよいのでしょうか。 選好データを作る最初の仕事は、何についての好みを集めるか決めることです。製品の利用者が受け取…