「文章を少し短くしてください」「この表をいい感じに整えて」「細部は適当に処理してください」。人間同士なら通じることがある一方、AIへ同じ言葉を渡すと、削る量、目指す状態、任せてよい範囲のどれが不明なのかさえ分かりません。

これらを一つの「曖昧表現」ラベルへまとめても、適切な応答は学習できません。数値へ置き換えられる程度なのか、候補の中から本人が選ぶ必要があるのか、過去の文脈から推定できるのかを分け、指示と回答の集め方を変える必要があります。

「少し」を単独で数値へ置き換えない

程度表現の数値化を試みた一次研究に、SharpらのGrounding Gradable Adjectives through Crowdsourcingがあります。研究の対象は英語の「small」「slight」「major」など98個の段階的形容詞です。

作業者には、実在の物ではなく架空の物の集団について、通常の個数の平均と範囲、今回の個数、変化を表す形容詞を提示しました。そのうえで、その形容詞が示す増加後の個数を数値で回答させています。実在物を使うと「小さなネズミ」と「小さな建物」のように名詞の知識が判断へ混ざるため、架空語と分布を使って形容詞の影響を取り出す設計です。

米国在住で英語母語話者と申告したAmazon Mechanical Turkの作業者は、参加前に言語問題へ正答する必要があり、一人16問へ回答しました。研究チームは98語それぞれについて50件、計4,900件を収集し、同じ値の反復や範囲端への偏りが多い作業者、設問の方向と合わない値、語ごとの外れ値などを除外しました。最終的に3,309回答が分析へ使われています。論文には参加した作業者の総人数は記載されていません。

この研究が示す設計上の要点は、「slightは何％」という固定辞書を先に作らず、基準となる平均とばらつきを回答時に提示したことです。日本語の「少し短く」も、現在の文字数だけでなく、同種文書の通常の長さや用途がなければ、削減量を一意に決められません。

指示から何が欠けたかを対にして残す

数値ではなく対象や方法が欠けている指示には、AmbiKの構造が参考になります。AmbiKは、キッチンロボットへの英語指示について、曖昧なタスク1,000件と、それぞれに対応する明確なタスク1,000件を収録したテキストデータセットです。

一件には、環境内の物体、曖昧な指示、明確な指示、利用者の意図、確認質問と回答、明確化前後の作業計画、曖昧さが生じる工程が対応付けられています。曖昧さは、本人の好み、常識知識、安全の三種類です。「どのマグを使うか」のように本人の選択が必要な問題と、通常の知識で補える問題を、同じ聞き返し対象にしていません。

制作では、750種類を超える食品・器具から1,000の環境を作り、Mistralで明確な指示、ChatGPTで情報を落とした曖昧な指示と質問・回答の候補を生成しました。研究チームの3人がガイドラインに沿って全件を選別・修正し、評価者間一致率は95％超と報告されています。つまり、自然な利用者の発話を集めたデータではなく、意図を含む明確版を先に作り、何を落とすと曖昧になるかを統制したベンチマークです。

「適当に処理して」も、雑でよいという意味とは限りません。書式は任せるが数値は変えない、軽微な表記揺れは作業者判断で直す、判断不能なら止める、といった裁量範囲が省略されている可能性があります。学習データでは、語の意味を一つ選ぶのではなく、変更禁止条件、選択可能な候補、依頼者だけが決められる項目を明確版へ残す方が、誤解の原因を追跡できます。

自由回答・選択式・比較評価は役割が違う

回答形式は、曖昧さの種類に合わせて選びます。すべてを「具体的に書いてください」という自由回答にすると、依頼者自身も数値化していない感覚を無理に言語化させることになります。

一対比較は、「いい感じ」の定義を直接尋ねる代わりに、余白、色、情報量などを変えた二案のどちらが意図に近いかを選んでもらう方法です。ただし、勝った案だけを残すと理由が分かりません。比較軸を複数選択させ、自由記述はその補足に使うと、選好と理由を分離できます。

本人の意図と第三者評価を同じ正解にしない

AmbiKの「user intent」は自然な利用者から聞き取った意図ではなく、明確な指示を基に研究側が設定した正解です。実際の業務指示からデータを作る場合は、指示を出した本人による判定と、第三者による判定を別フィールドにします。

本人には、候補が意図に合うか、許容できる範囲はどこまでか、確認質問によって意図を表現できたかを尋ねます。第三者には、指示と文脈だけから同じ結論へ到達できるか、禁止条件を破っていないか、質問文が一つの不足情報に絞られているかを評価してもらいます。本人の満足と第三者の再現性は、どちらか一方で代用できません。

聞き返すか、文脈から推定するかも正解に含める

ClariQは、検索要求に確認が必要な度合いを1から4で付け、「いつ聞くか」と「何を聞くか」を別の課題にしました。公開リポジトリでは、学習用187トピックと検証用50トピック、891の検索意図、3,929の確認質問、11,489件の単一ターン対話が示されています。質問の自然さだけでなく、質問と利用者回答を加えた後に検索結果が改善したかを評価した点が重要です。

日本語の業務指示でも、曖昧語を含むかどうかだけでは判定できません。「前回と同じ程度に短く」で、前回成果物を参照できるなら推定可能です。一方、「いい感じに」で見本も評価履歴もなく、成果物の変更が取り消しにくいなら、確認を優先する設計が考えられます。

一件のデータには、元の指示、対象物、現在状態、参照可能な会話・見本・修正履歴、候補となる解釈、確認の要否、質問、本人の回答、明確化後の指示、完成結果を残します。検品では、回答後に候補が一つまたは許容集合へ絞れたか、同じ情報を聞き直していないか、文脈だけで解ける例に不要な質問を付けていないかを確認します。

曖昧語ではなく、判断に必要な情報を設計する

「少し」「適当に」「いい感じに」をAIへ教える目的は、それぞれへ固定の数値や意味を割り当てることではありません。程度なら基準値と分布、対象選択なら候補、品質なら比較できる成果物、裁量なら禁止条件と任せる範囲を用意し、足りなければ質問するところまでを一組にします。

品質管理でも多数決だけを正解にせず、本人の意図、第三者の再現性、質問後の解決、最終成果の適合を分けて集計します。そうすることで、AIが曖昧語を見つけたかではなく、推定と確認を使い分け、依頼者が許容する結果へ到達できたかを評価できます。