一般的な議事録では、「えーと」「あのー」、語の繰り返し、言い掛けた音を削ることがあります。しかし、話し言葉を研究するデータでは、何を削らず、どの単位で、どの記号を使って残すかを先に決めなければなりません。

日本語話し言葉コーパス（Corpus of Spontaneous Japanese：CSJ）は、その判断基準を転記・形態論・韻律などの層に分けて公開しています。単に大量の日本語音声を集めたのではなく、発話の途切れ、フィラー、語断片、発音の崩れを検索可能な情報へ変換したコーパスです。

1999～2003年に構築された自発音声コーパス

CSJ公式ページによると、CSJは国立国語研究所、情報通信研究機構（旧通信総合研究所）、東京工業大学が共同開発しました。文部科学省の開放的融合研究制度による1999～2003年のプロジェクトを基盤とし、自発音声の音声認識、音声学、言語学、日本語研究などに使える研究基盤を作ることが目的でした。

2024年2月に公開された現行の有償版は第9刷です。第9刷の収録データ詳細では、公開音声は16kHz・16bit linearで661時間、3,302講演、異なり話者1,417名です。「752万語」は転記文字列の概数ではなく、形態論上の短単位7,525,125件を丸めた値です。長単位は6,313,874件で、言い誤りによる語断片などはこの語数から除外されています。

約9割は独話だが、朗読と対話も収録した

公式の概観に示された音声区分は次のとおりです。

学会講演と模擬講演を合わせると時間の約9割を占めます。学会講演は理工系の男性大学院生が多いため、性別・年齢に偏りがあります。模擬講演は主に人材派遣会社を通じて一般話者を募集し、20代から50代の年代と男女比がなるべく均衡するようにしました。公開される話者情報には性別、生年代、収録時年齢の5年刻み情報、出生地、居住歴などがあります。

実環境とスタジオ収録を同じコーパスで管理する

音声収録作業の概要では、全講演をヘッドセット型マイクCROWN CM-311aからDATへ48kHz・16bitで入力したと説明されています。配布音声は16kHz・16bit linearです。学会講演は実会場で録音したため、環境が必ずしも良好とは限りません。一方、模擬講演は原則として国語研の録音スタジオで収録しました。

使用機材、会場ノイズ、聴衆数、発話速度や明瞭さなどは記録票へ残しました。音声品質を一律と見なすのではなく、収録条件を付帯情報にしている点が重要です。講演者から音声提供の承諾を得たうえで、性別、生年月日、出身地、学歴などのアンケートも実施しています。

発話は原則0.2秒以上の途切れで分割する

転記テキストの仕様では、基本単位を「転記基本単位（転記単位）」と呼びます。講演者の言語音は原則として、0.2秒以上の途切れがなく連続する範囲を一単位とします。ただし、述語の終止形や終助詞などの文末形式がある場合は、0.05秒以上0.2秒未満の途切れでも分割します。

転記単位には、A＝講演者の言語音、B＝笑い声・泣き声・咳・息などのボーカル音、C＝聴衆の発話・笑い・拍手・デモ音など、D＝再朗読における朗読間違い、の4種があります。各単位に4桁の発話ID、開始・終了時刻、話者IDを付けます。独話の話者IDはL、二者対話では左右のチャンネルに対応するL／Rです。対話では二人の音声が時間的に重なることも許容されています。

「基本形」と「発音形」は整文版と忠実版ではない

CSJの正式名称は基本形と発音形です。基本形は検索に適した漢字仮名交じり表記、発音形は聞き取れる範囲で発音を記した片仮名表記です。別々に作られた整文と逐語録ではなく、同じ発話を「基本形 & 発音形」と対応付け、文節に相当する単位で改行します。

たとえば、音の転訛や一時的な発音エラーには(W 実際の発音;丁寧に発音した場合の形)を使います。漢字の読みに関する知識レベルの言い間違いは(B 実際の読み;正しい読み)で区別します。この構造により、「言い間違いを正しい語へ直す」だけでなく、実際の音と対応候補の両方を保持できます。

フィラー、語断片、引き延ばしを別の記号で残す

(F)は、話者の心理や会話上の目的を自由に推定して付けるタグではありません。転記基準は対象語彙を限定し、その語が場つなぎ的に使われた場合に付与します。「あの／その」が連体詞かフィラーか迷う場合は原則として(F)を付け、迷ったことをコメントします。フィラーが発話権の保持などに関係するという説明は一般的な会話研究上の解釈であり、CSJのタグがその機能まで正解ラベルとして持つわけではありません。

形態論情報と詳細アノテーションの範囲を分ける

全転記には、辞書の見出し語に近い粒度の短単位と、複合語・複合辞をまとめる長単位を認定し、代表形、代表表記、品詞、活用などを付けています。フィラーは原則として(F)の範囲を一単位とし、言いよどみもタグ範囲を一単位として扱います。

ただし、すべての音声が同じ密度で人手解析されたわけではありません。約45時間・50万語のコアは形態論を人手解析し、分節音、X-JToBIによるイントネーション、節単位、係り受け、要約・重要文などの詳細情報を付けました。非コアの形態論は自動解析後に部分的な人手修正を行ったもので、短単位・長単位データマニュアルは、活用形、助詞、複数短単位を含む(F)などに自動解析誤りが残りやすいことも明記しています。談話構造情報はさらに限定された40講演分です。

品質管理は「何度検品したか」だけではない

表記揺れを抑えるため、転記では約10万語の用語リストを作成し、オンライン検索や仮名漢字変換用辞書として利用しました。コアの発音形には分節音ラベリングの結果が反映され、非コアより精度が高いとされています。また、個人名や非公開希望箇所などの(R)範囲は伏せ字化し、その転記単位の音声全体を白色雑音へ置換しています。

公式資料からは、全データに対する一律の検品回数や、全転記を何人が独立確認したかまでは確認できません。その代わり、記録票、用語リスト、コアと非コアの精度差、機械解析に残り得る誤り、改訂版でのエラー修正を明示しています。品質情報そのものを利用者へ渡す設計です。

有償版と無償検索では利用できる情報が異なる

第9刷のオフライン有償版は256GBのUSBメモリで提供され、音声、転記、形態論情報、各種付加情報、XMLなどを含みます。一方、オンライン検索「中納言」では、UniDic体系へ変換した短単位形態論情報を無償検索できます。ただし、実際の言い間違いの発音形は検索対象外で、音声再生は有償版契約者に限られます。

CSJはオープンライセンスの音声データではありません。利用申込と許諾契約が必要で、商業目的は個別の利用区分があります。契約範囲外の第三者への貸与は認められていないため、再配布や派生物の公開は契約条件を確認する必要があります。

日本語音声データの仕様へ取り入れたい考え方

• 発話分割を時間だけで決めない：ポーズ長に加え、文末形式などの言語的条件も定義する。
• 表記と発音を対応付ける：読みやすい表記へ直しても、実際に発せられた音を別フィールドで保持する。
• 非流暢性を一括しない：フィラー、語断片、機能語の言い直し、発音エラー、引き延ばし、ポーズを分ける。
• 自動解析の範囲を表示する：人手解析済みの層と、自動解析・部分修正の層をメタデータで区別する。
• 収録条件を納品する：機材、場所、ノイズ、話者属性を音声と結び付け、条件差を後から検証できるようにする。

最初から全情報を一つの「正しい文章」へ押し込むと、発音の崩れや言い直しは復元できません。CSJが示すのは、音声区間、転記、形態論、韻律を別の層として対応付け、詳細情報を付けた範囲と付けていない範囲まで公開する設計です。