画像へ枠を付ける、発話へラベルを付ける、文章を分類する。アノテーション作業は、仕様書にルールを書けば同じ結果が得られるように見えます。

しかし、実際に作業を始めると、仕様書では想定していなかった例が必ず現れます。一部だけ写った物を含めるのか、二つのカテゴリに当てはまる場合はどうするのか、聞き取れない音声をどう表すのか。作業者が迷うたびに判断が分かれます。

アノテーション仕様書は、最初に完成させる文書ではありません。試作と質問を通じて、判断基準を更新していく運用文書です。

研究者の中では明確でも文章にすると抜ける

研究者や開発者は、対象データを見れば直感的に判断できることがあります。しかし、その判断には研究目的、過去の事例、専門知識が含まれています。

「明らかな場合だけ付与する」「適切な範囲を囲む」と書いても、何を明らか、適切とするかは伝わりません。判断に使っている特徴を、具体例と反例へ変える必要があります。

最初に正常例だけを並べない

仕様書には、正しい完成例だけでなく、迷いやすい境界事例を載せます。

• 対象の一部だけが見えている
• 複数の対象が重なっている
• 画像が暗く判別しにくい
• 二つ以上のラベルに該当する
• 発話の途中で話者が交代する
• 正解を決められない

「判断不能」を正規の選択肢として用意することも重要です。無理にいずれかへ分類させると、見かけ上は完成していても誤ったラベルが増えます。

少量の試作で質問を集める

本番前に複数の作業者へ同じ少量データを依頼します。結果の一致率を見るだけでなく、迷った箇所と判断理由を記録してもらいます。

作業者全員が同じ誤解をしていれば、回答が一致していても仕様が正しく伝わっていません。研究者の想定結果と照合し、不一致の原因を確認します。

質問と回答を仕様書へ戻す

個別の質問へ回答するだけでは、別の作業者が同じ問題へ直面します。決定した内容を、ルール、見本、よくある質問へ反映します。

仕様書には更新日と変更内容を残し、どの時点から新しい基準を適用するかを決めます。重大な変更であれば、すでに完了したデータへ遡って再確認します。

仕様変更中のデータを混在させない

作業途中で基準を変えた場合、旧基準と新基準のラベルが同じデータセット内に混在する可能性があります。作業期間、作業者、仕様書の版を記録しておくと、影響範囲を追跡できます。

判断基準が固まるまでは処理量を抑え、安定してから本格的に作業を広げる方が、全件のやり直しを防げます。

一致率が低い理由を分ける

複数人の回答が一致しない原因には、作業者の理解不足だけでなく、対象自体の曖昧さがあります。

• 説明不足で判断が分かれた
• 作業者がルールを読んでいない
• 画像や音声の品質が低い
• 正解が本質的に一つに定まらない
• カテゴリ設計が研究目的に合っていない

原因を分けずに多数決だけで確定すると、曖昧さを隠したデータセットになる可能性があります。

仕様書の目的は判断を再現できること

長い仕様書を作ることが目的ではありません。初めて作業する人が同じ判断を再現でき、迷ったときに確認経路が分かることが重要です。

試作、質問、研究者確認、仕様更新、再試作を繰り返し、作業者と研究者の認識を近づけます。アノテーション仕様書は、その共同作業の記録でもあります。