標準語のテストで高い性能を示すAIが、方言や地域変種でも同じように動くとは限りません。ただし、その差を横断的に調べるには、方言文を新しく集めるだけでなく、形式も粒度も異なる既存データを比較できる単位へ整理する必要があります。

DIALECTBENCHは、一つの新規データセットではありません。既存の方言・地域変種・社会変種・近縁言語のデータを集め、言語クラスター、タスク、学習条件、評価指標を対応付けた評価スイートです。この記事では「281」を言語数と読み替えず、どのような統合作業でベンチマークにしたのかを見ます。

ACL 2024の受賞論文

DIALECTBENCH: An NLP Benchmark for Dialects, Varieties, and Closely-Related Languagesは、Fahim Faisal、Orevaoghene Ahia、Aarohi Srivastava、Kabir Ahuja、David Chiang、Yulia Tsvetkov、Antonios Anastasopoulosによる論文です。ACL 2024（第62回年次大会、Long Papers）で発表され、正式にBest Social Impact Paper Awardを受賞しました。

研究の目的は、標準変種に偏りがちなNLP評価を、非標準方言や言語変種にも広げることです。著者らは、ACL Anthologyの過去10年分と一般的なオンラインデータリポジトリを調査し、確立した高資源変種と、それに対応する地域・民族・表記体系・使用域・データ領域などの変種を持つ言語を選びました。論文の表1に挙がる資料名を重複なしで数えると25件ですが、論文自体は「元データセット総数」を独立した公式統計として示していません。

281は「言語数」ではなく言語変種の総数

論文は、方言か独立言語かという政治的・社会的な境界を固定せず、低資源の近縁言語、文字体系の違い、Twitterのような領域差も含めてvariety（言語変種）と呼びます。281は、ベンチマーク全体に収録された変種を40の言語クラスターに整理した総数です。281言語を意味せず、281変種すべてに10タスクのデータがあるわけでもありません。

クラスターはGlottologを使い、相互理解可能性、系統的近さ、地理的近さを手掛かりに、最も近い共通祖先へさかのぼる形で構成しました。たとえばFiji HindiとHindiはHindustaniクラスターに置かれます。名称は原則Glottocodeへ寄せ、コードがない場合は祖先コードに、地域（a）、使用域（r）、書記・音声などのモード（m）、中国語系の簡体字・繁体字（o）、Twitterなどデータ固有の識別子（i）を付けました。

収録範囲にはアラビア語、高地ドイツ語、イタリア・ロマンス語、英語系、中国語系、共通テュルク語の大きなクラスターだけでなく、サーミ、コミ、トゥピ・グアラニー、ベンガル語、スワヒリ語なども含まれます。一方、論文付録の全変種表に日本語および日本語方言はありません。

10タスクは同じ件数でも同じ評価法でもない

原論文の表1と表3を対応させると、タスク別の収録範囲は次のようになります。機械翻訳は方言単位と地域単位を別に報告しています。

つまり、DIALECTBENCHが共通化したのは「全変種に同一問題を解かせること」ではなく、異なる資料をクラスターと変種の台帳へ結び、タスクごとに適切な指標と学習条件を明記することです。

ラベルを一律変換せず、変更点を限定した

元データは、変種名の付け替えを除いて原則として公開時の形を保ちました。ただし、比較に必要な箇所では処理を加えています。TwitterAAEとSinglishの依存関係ラベルはUD形式へ変換し、品詞はUPOSへ標準化された既存パイプラインを利用しました。対照的に、Norwegian NERのGEO・ORG・OTH・PERは、WikiAnnのLOC・ORG・PERへ無理に合わせず、そのまま残しています。感情分析もpositive／negative以外のobjective／neutralを削除せず、各方言に検証用分割を追加しました。

自然言語推論だけは、既存の方言データがなかったため、英語XNLIの評価セットをNLLB-200 3Bで翻訳したtranslate-testを作成しました。これは人手で新規収集した281変種共通のデータではなく、タスク固有の機械翻訳による評価セットです。

学習データの有無を評価条件として残す

元資料の分割を一つのtrain／development／testへ統一したわけではありません。データの有無に応じて、同じ変種での微調整、クラスター内の高資源な代表変種での微調整、複数標準変種をまとめた微調整、英語からのゼロショット転移、Mistral 7Bへの英語5例付きプロンプトを使い分けました。代表変種は通常、話者数が多い高資源変種ですが、利用可能なデータによりタスクごとに変わり、言語学的に「優れた標準形」を意味しないと論文は明記しています。

モデルは機械翻訳以外でmBERTとXLM-R、機械翻訳でNLLB 600M／1.3Bを使用しました。性能差は、代表変種または英語のスコアに対する相対低下率として変種ごとに求め、クラスター単位で平均します。最大到達スコアの表では、依存構文解析の平均64.3に対してブラジルのMbyá Guaraníが9.0、固有表現抽出の平均70.1に対してJamaican Creole Englishが0.0でした。ただし、低資源変種が常に下回るとは限らず、ラテン文字の一部変種がゼロショット固有表現抽出で代表変種を上回る例も報告されています。

公開物とライセンスの境界

公式GitHubリポジトリには、タスク別スクリプト、変種メタデータ、実験結果、ダウンロード用スクリプトが公開されています。リポジトリはApache License 2.0ですが、READMEは機械翻訳データとHugging Faceから読み込む資料を一括ダウンロードの対象外としています。したがって、リポジトリのライセンスを全元データへ一括適用できるとは読めません。利用時はUD、WikiAnn、MADAR、SIB-200など各配布元のライセンスと制限を個別に確認する必要があります。論文とリポジトリには、全25資料のライセンスを横断した単一のデータカードは見当たりません。

既存データを統合する設計で参考になる点

• 名称台帳を先に作る：元データ名をそのまま連結せず、共通コードと地域・使用域・モード・表記・領域の補助情報を分ける。
• タスク別の欠測を見せる：281という総数だけでなく、タスクごとの変種数、学習データの有無、評価指標を公開する。
• 変換と非変換を記録する：UD／UPOSへ合わせた箇所と、NERや感情ラベルを保持した箇所を区別する。
• 比較の基準を固定しすぎない：代表変種を便宜的な高資源基準と定義し、優劣の序列とは切り離す。
• 元データの権利を引き継ぐ：統合コードのライセンスと、各データの再配布・研究利用条件を別々に管理する。

日本語方言の評価へ応用するなら、地域名だけでなく、収録地域、話者属性、書記か音声か、会話かSNSかといった軸を別フィールドにする設計が参考になります。ただし、これはDIALECTBENCHの日本語での実験結果ではありません。また論文自身も、タスク間で品質・件数・領域が大きく異なり、完全に公平な比較には平行データが不足していると限界を示しています。