2026年9月28日
LLM評価のゴールデンデータセットはどう作る？期待回答・失敗例・版管理
LLMの回答を評価しようとして、まず「質問と正解回答の一覧」を作ることがあります。しかし、正解文を一つ用意しただけでは、言い換えた回答をどう採点するか、資料に答えがないときは何を期待するか、モデルを改善した後も同じ点数を比較できるかが決まりません。 ゴールデンデータセットは、評価対象の入力と、期待する結果や判定基準を確認済みのケース集です。ここでいう「ゴール…
2026年9月28日
LLMの回答を評価しようとして、まず「質問と正解回答の一覧」を作ることがあります。しかし、正解文を一つ用意しただけでは、言い換えた回答をどう採点するか、資料に答えがないときは何を期待するか、モデルを改善した後も同じ点数を比較できるかが決まりません。 ゴールデンデータセットは、評価対象の入力と、期待する結果や判定基準を確認済みのケース集です。ここでいう「ゴール…