2026年10月6日
評価データが学習に混ざったら？ベンチマーク汚染を防ぐデータ管理
評価問題を追加学習に使っていなくても、開発者が失敗例と期待回答を見てプロンプトを直し続ければ、その問題での点数は未知の質問への性能を表しにくくなります。評価データを作るときは、問題の内容に加えて出所、派生ケース、閲覧者、利用先を管理します。 「汚染」で一括りにせず、三つの経路を区別する 公開ベンチマークの混入は、公開された問題や回答が基盤モデルの事前学習デー…
2026年10月6日
評価問題を追加学習に使っていなくても、開発者が失敗例と期待回答を見てプロンプトを直し続ければ、その問題での点数は未知の質問への性能を表しにくくなります。評価データを作るときは、問題の内容に加えて出所、派生ケース、閲覧者、利用先を管理します。 「汚染」で一括りにせず、三つの経路を区別する 公開ベンチマークの混入は、公開された問題や回答が基盤モデルの事前学習デー…