「それが数々の trouble に見舞われた」のように、一つの発話の途中で日本語から英語へ切り替える音声を、どのように集めればよいのでしょうか。

複数のバイリンガル話者による自由会話を収録すれば、実際の生活で生じる言語の切り替えを集められます。しかし、話者、話題、発話内容、収録環境が異なるため、音声の違いが言語切り替えによるものなのか、個人差によるものなのかを分けにくくなります。

そこで、まず一人の話者が対応する日本語、英語、コードスイッチ文を読み上げる方法があります。話者と収録環境を固定し、言語の組み合わせだけを変えた音声を比較する設計です。

本記事は制作者が公開しているコーパス情報を紹介するものです。株式会社イングクラウドが当該コーパスの構築に関与したことを示すものではありません。

日本語・英語・コードスイッチ文を対応させた

JECS（Japanese-English code-switching speech corpus）は、日本語、英語、両言語を切り替えるコードスイッチ文のパラレル発話からなる音声コーパスです。

公式ページでは、次のような対応例が示されています。

• 日本語：それが数々のトラブルに見舞われた
• 英語：It went through many troubles.
• コードスイッチ：それが数々の trouble に見舞われた

日本語文と英語文は、単語を一語ずつ機械的に置き換えたものではなく、意味の対応する文として用意されています。コードスイッチ文では、その一部を別言語の表現へ切り替えています。

このようなデータがあれば、日本語だけの文、英語だけの文、途中で英語へ切り替わる文について、発音、音高、長さ、強調位置などを比較できます。異なる話者の音声を比べるのではなく、同一話者内で言語条件の違いを調べられる点が特徴です。

バイリンガル声優1人がスタジオで収録した

JECSの話者はバイリンガルの声優1人です。収録はスタジオで行われ、音声の合計時間は約2.5時間、サンプリング周波数は24kHzとされています。

複数話者を集めず、発声を仕事とする一人の話者に限定することで、声質、マイクとの距離、発話技術、収録環境などのばらつきを抑えられます。音声合成モデルの構築や、同一話者による日英音声の比較に向いた設計です。

一方、話者の年齢、性別、出生地、日本語と英語の習得時期、各言語の使用歴、優勢言語などは、公式ページに記載されていません。「バイリンガルの声優」という情報だけから、どのような言語背景を持つ話者なのかを推測することはできません。

通常発話だけでなく強調と感情も変える

公式ページでは、通常の発話に加え、特定の単語を強調した発話と、少量の感情発話が紹介されています。演技による感情の種類は、neutral、sad、happy、angry、すなわち通常・悲しみ・喜び・怒りです。

コードスイッチ音声では、どの言語を使うかだけでなく、切り替えた単語をどの程度目立たせるか、前後の韻律をどのようにつなぐかも音声の特徴になります。同じ文章に対して通常、強調、感情という条件を設ければ、言語切り替えと発話スタイルを分けて比較しやすくなります。

ただし、公式ページには、通常発話、強調発話、各感情の音声がそれぞれ何文あるかは掲載されていません。感情発話についても「少量」とされているだけで、条件間で同数とは確認できません。

コードスイッチ文の作成に話者本人が参加した

JECSのコードスイッチ文は、コーパスの作成者だけで決めたものではなく、作成者と話者が共同で設計しています。

コードスイッチは、日本語文の名詞を英単語へ置き換えれば自然になるとは限りません。どこで言語を切り替えるかは、話者の言語経験、会話相手、場面、所属するコミュニティなどに左右されます。文法的に作れる混在文でも、話者本人が実際には使わない組み合わせである可能性があります。

話者を台本の読み手としてだけ扱わず、混在文の設計にも参加してもらうことで、少なくともその話者が発話可能と判断した文を収録できます。

ただし、どのような基準で切り替え位置を選んだのか、候補文を何人で確認したのか、自然さを段階評価したのかといった手順は公開されていません。話者が文作成に関与したことと、広いバイリンガル集団にとって自然であることは分けて考える必要があります。

自然会話ではなく条件をそろえた読み上げ音声

JECSは、日常会話を録音して後からコードスイッチ部分を探したコーパスではありません。あらかじめ設計した文章を一人の声優がスタジオで読み上げた、統制された音声データです。

パラレル読み上げは、条件を統制した音声合成や音響分析に向きます。自然会話は、いつ、誰に対して、どの表現で言語が切り替わるかを調べるのに向きます。どちらか一方が優れているのではなく、研究上の問いが異なります。

どこまでをコードスイッチとするか決める必要がある

日英混在文を作るときは、英語由来の語をすべてコードスイッチと扱うことはできません。「トラブル」「ミーティング」「コンピューター」のように、日本語の外来語として定着した表現もあるためです。

表記が英字ならコードスイッチ、日本語表記なら借用語という区別でも不十分です。同じ語でも、英語に近い発音をする場合、日本語の音韻体系に合わせて発音する場合、日本語の助詞や活用を接続する場合があります。

新しくコードスイッチ音声を収録する場合は、少なくとも次の情報を区別して持つ必要があります。

• 台本上で指定した言語
• 話者が実際に発音した語形
• 各語または区間の言語ラベル
• 言語が切り替わる開始・終了時刻
• 借用語、固有名詞、コードスイッチを分ける基準
• 強調や感情などの発話条件

ただし、JECSの公式ページでは、単語単位の言語ラベルや切り替え区間の時刻情報が付属しているとは説明されていません。これらはJECSで確認済みの仕様ではなく、追加データを作る場合に検討すべき設計項目です。

一人の音声から話者一般の傾向は判断できない

JECSの強みは、一人の声とスタジオ環境を固定したまま、日本語、英語、コードスイッチ、強調、感情という条件を比較できることです。一方、話者が一人なので、観察された発音や韻律が、その話者固有の特徴なのか、日英バイリンガルに広く見られる特徴なのかは区別できません。

声優による演技音声である点にも注意が必要です。発音が明瞭で、台本に沿って感情や強調を再現できる話者の音声は、日常会話中に無意識に生じる言語切り替えとは性質が異なります。

また、公式ページの「Paper」欄は現在も「TBA」とされており、収録文数、文章の選定元、録音機材、音声の分割方法、転記と検品の工程、評価実験の結果は公開資料から確認できません。

そのため、JECSは大規模なバイリンガル話者集団を代表するデータではなく、条件をそろえた日英パラレル音声の基礎データとして位置付けるのが適切です。複数話者や自然会話へ広げる場合は、先に統制データで比較条件を確認し、その後に話者属性と会話場面の多様性を追加する設計が考えられます。

音声データとテキストでは利用条件が異なる

JECSのテキストデータはCC BY 3.0で提供されています。一方、音声データは、学術機関による研究、営利組織を含む非商用研究、個人利用などに用途が限定されています。音声の再配布は原則として認められていません。

データセットを音声合成や音声認識へ利用するときは、ダウンロードできるかだけでなく、研究・商用利用、再配布、生成モデルへの利用が許されているかを確認する必要があります。テキストと音声でライセンスが同じとは限りません。