標準語のテストで高い性能を示すAIが、方言や地域変種でも同じように動くとは限りません。利用者の言葉を「誤った表現」として扱えば、特定地域だけサービス品質が低くなる可能性があります。

本記事は公開論文と公開ベンチマークの紹介です。「方言」「言語変種」「近縁言語」の区分は、言語学的・社会的背景によって異なります。

今回取り上げる論文

DIALECTBENCH: An NLP Benchmark for Dialects, Varieties, and Closely-Related Languagesは2024年のACLで発表され、Best Social Impact Paper Awardを受賞しています。

10種類のタスクと281の言語変種を集約した

DIALECTBENCHは、新しく一種類のデータを集めたものではなく、既存のさまざまなデータセットを整理し、10種類のテキスト処理タスク、281の言語変種を同じ枠組みで評価できるようにしたベンチマークです。

データを集めるだけでなく比較可能にする

元データごとにラベル、分割方法、表記、対象地域が異なります。横断評価には、タスクの対応付け、名称の整理、学習用・評価用データの統一が必要です。既存データの統合作業もデータセット制作の一部です。

標準語と非標準変種で性能差がある

論文では、標準的な言語変種と非標準的な変種の間に性能差があることを示しています。平均性能だけを見ると、特定地域の低い性能が隠れる可能性があります。

日本語で考える場合

• 方言を標準語へ翻訳せず、そのまま収集する
• 話者の自己申告と居住歴を区別する
• 地域だけでなく年代や場面を記録する
• 表記揺れを誤字として一律に修正しない
• 地域別の件数と評価結果を公開する

日本語の地域差は語彙だけでなく、アクセント、助詞、活用、会話の間にも現れます。音声とテキストでは必要な設計も異なります。

データ制作の実務で参考になる点

「日本語データを集めた」だけでは、どの日本語を含むか分かりません。対象集団を細分化し、標準語に寄せる前の情報を残すことが、公平性の評価につながります。