音声合成の仕組み｜波形生成方式(連結・パラメトリック・ニューラル)を技術解説

音声合成の仕組みを理解する起点：波形生成が出力品質を決める

音声合成（TTS: Text-to-Speech）の処理は、大きく「テキスト解析（フロントエンド）」と「波形生成（バックエンド）」の二層で成立する。前段のテキスト解析は読み・アクセント・韻律を推定する工程であり、後段の波形生成がその韻律情報を実際の音圧波形へと変換する。出力音声の自然性・明瞭性・感情表現の豊かさは、波形生成方式の選択によって決定的に左右される。

TTSの処理パイプライン全体については別稿に委ねるとして、本稿では波形生成方式そのものの動作原理・技術的トレードオフに絞る。方式は歴史的に三世代に整理できる。録音済み音素を繋ぎ合わせる連結合成（素片連結合成）、音声のパラメータを統計モデルから予測するパラメトリック合成（統計的パラメトリック合成）、そしてニューラルネットワークで波形を直接生成するニューラルボコーダである。NICTの報告によれば、この三世代にわたる技術進化が現代の高品質TTSを支えている（NICT 技報「ニューラル音声合成技術」2022年）。

連結合成の仕組み：素片データベースと動的計画法による選択

連結合成は、人間の音声を録音・切り出して作成した「素片（ユニット）」のデータベースを検索し、目標韻律に最も近い素片を選択・連結して波形を組み立てる方式である。動作の核心はコスト最小化にある。入力された韻律仕様（F0・時間長・スペクトル包絡）と候補素片の音響特徴との差を「目標コスト」として、また素片間の継続性の乱れを「連結コスト」として定義し、Viterbi探索などの動的計画法で最適素片列を決定する。

この方式が提供する最大の利点は、録音素片をそのまま利用するため、DBがカバーする範囲内では非常に高品質な音声が得られることである。しかし裏返せば、DBが薄い韻律領域では適切な素片が見つからず、波形のつなぎ目に不連続が生じて品質が急落する。収録時間と表現の多様性はトレードオフの関係にあり、特定の感情スタイルや話速の極端な変動に対応するには対応する素片を網羅的に収録しなければならない。ストレージコストと収録設計の負担が運用上の大きな制約となる点は、実装段階で早期に見積もる必要がある。

素片の切り出し点（ピッチマーク）の精度も品質に直結する。マークの誤りは波形接続時の位相ずれとして知覚されるため、前処理の厳密さが求められる。連結合成は「品質はDB品質の上限を超えられない」という原則を設計者が常に意識すべき方式である。

パラメトリック合成の仕組み：統計モデルによるスペクトル推定とその限界

パラメトリック合成は、音声をスペクトル包絡・基本周波数（F0）・非周期性指標といったパラメータの時系列で表現し、それらを統計モデルから予測した後にボコーダで波形に変換する方式である。HMM（隠れマルコフモデル）を用いたHTSが代表的な実装であり、後に深層学習ベースのDNNへと発展した。

素片DBを持ち歩く必要がないためモデルのフットプリントが小さく、発話速度やピッチの連続的な操作が容易である。組み込み機器や低リソース環境での利点は今なお大きく、エッジデバイスへの展開においてはパラメトリック系の軽量モデルが選択肢として残る。

しかし統計モデルはパラメータの平均的な値に収束しやすく、過度に平滑化されたスペクトルが「機械音」として知覚される原因となる。ボコーダを経由する段階でも高域成分の劣化が生じやすい。NICTの技術報告は、この過平滑化問題が統計的パラメトリック合成における音質面のガラス天井として認識されており、ニューラルアーキテクチャへの移行を促す一因になったと分析している（NICT 技報「ニューラル音声合成技術」2022年）。

深層学習の基礎的な仕組みについてはディープラーニングの技術的詳細を参照されたい。また機械学習の全体像については機械学習の技術解説も理解を補う。

音声合成の仕組みの現代的中核：ニューラルボコーダの各アーキテクチャ

ニューラルボコーダは、メルスペクトログラムなどの中間表現を条件として、生の波形サンプルをニューラルネットワークで直接生成する方式である。ボコーダのパラメータ化に依存しないため、パラメトリック合成の過平滑化問題が原理的に回避される。現在の高品質TTSシステムの多くがこの方式を採用している。

主要なアーキテクチャは以下の四系統に整理できる。

• 自己回帰型（WaveNet系）：過去のサンプルを条件として次のサンプルを確率的に予測するCausal畳み込みネットワーク。生成品質は高いが、サンプルを1点ずつ逐次生成するため推論が遅く、リアルタイム用途への適用にはモデルの蒸留・量子化が必要となる。
• フローベース型（WaveGlow系）：可逆な変換によって潜在空間と波形空間を双方向に変換する。並列生成が可能で推論速度を改善できるが、可逆性の制約からパラメータ数が増大する傾向がある。
• GANベース型（HiFi-GAN系）：生成器と識別器の敵対学習により高速かつ高品質な生成を両立しやすい。スペクトル再構成損失とGAN損失の組み合わせが品質を左右する。GANの仕組みの詳細はGANの技術解説を参照。
• 拡散モデル（Diffusion）型：ノイズから反復的にデノイズして波形を生成する方式。品質面での可能性が注目されているが、推論ステップ数に比例したレイテンシが課題であり、ステップ数削減のための研究が継続している。

エンタテインメント分野、とりわけ歌声合成では、音素・韻律の高精度な制御が出力品質に直結することが日本音響学会誌の論文「歌声の合成における応用技術」でも詳述されている（J-STAGE 日本音響学会誌 75巻7号）。ニューラルボコーダはこうした高い表現要求に応える方式として、研究・実用の両面で主軸となっている。

NTT研究開発の報告においても、ニューラルネットワークを活用した表現力豊かな音声合成がテキスト解析から波形生成まで一体的に高度化しつつあると示されている（NTT研究開発「表現力の豊かな音声合成技術」）。

なお、ニューラルボコーダの性能は学習データの品質にも強く依存する。弊社（クリスタルメソッド株式会社）が保有する特許第6452061号「学習データ生成方法、学習方法、及び評価装置」は、スペクトログラムから疑似音データを生成して学習データを効率的に拡充する手法に関するものであり、こうした学習データ品質の担保はニューラルボコーダの設計においても重要な視点となる。

三方式の技術的トレードオフ比較と方式選定の判断軸

音声合成の仕組みにおける方式選定は、音質・レイテンシ・データ要件・韻律制御自由度・エッジ適性の五軸で評価することが実践的である。

評価軸	連結合成	パラメトリック合成	ニューラルボコーダ
出力音質	高（DB内カバー範囲内）	中（過平滑化が生じやすい）	高（自然性が高い）
韻律の制御自由度	低〜中（DB依存）	高（連続的操作が容易）	高（条件付け設計次第）
推論レイテンシ	低〜中（検索コスト）	低（軽量モデル）	中〜高（モデル規模依存）
学習・収録データ量	大（高品質録音DB必須）	中（数時間〜十数時間程度）	中〜大（アーキテクチャ依存）
未収録発話・感情表現	限界あり（DB外は劣化）	補間可能・音質に上限	比較的柔軟に対応可
エッジ・組み込み適性	低（DB容量が障壁）	高（軽量）	中（量子化・蒸留で改善可）

ニューラルボコーダは品質・柔軟性において現状最も優位だが、推論コストの高さはリアルタイム応答が必須の用途で障壁となる。カーナビやスマートスピーカーなどの組み込みシステムでは、パラメトリック系モデルを量子化して搭載するか、GANベースのニューラルボコーダを蒸留・剪定して軽量化する選択肢が依然として現実的である。方式選定は「音質・レイテンシ・インフラコスト」の三角形のどこを優先するかを最初に確定し、そこからアーキテクチャを逆引きするアプローチが設計上の基本姿勢となる。

実装の勘所：アコースティックモデルとの結合設計とエンドツーエンド化の判断

現代の高品質TTSパイプラインでは、テキストからメルスペクトログラムを予測するアコースティックモデル（Tacotron系、FastSpeech系など）と、スペクトログラムから波形を生成するニューラルボコーダを直列に組み合わせる構成が主流である。さらにエンドツーエンド（E2E）化が進み、テキストから波形まで単一モデルで処理するアーキテクチャも登場している。

E2E化の利点は、アコースティックモデルとボコーダの誤差伝播が一体的に最適化される点にある。一方でモデル全体のパラメータ数が増大し、新たな話者や感情スタイルを追加する際のファインチューニングコストが高くなる。用途が多岐にわたるシステムでモジュール単位の差し替えが発生しやすい場合は、アコースティックモデルとボコーダを分離した二段構成の方が運用上の柔軟性を確保しやすい。どちらを選ぶかは、開発・運用フェーズのコストバランスを考慮した上で判断する必要がある。

感情・スタイル制御においては、感情ベクトルを条件として埋め込む手法（スタイルトークン、参照音声エンコーダなど）が研究・実用の両面で探索されている。AI音声合成市場においても感情表現やVoice Cloningの精度向上が主要なトレンドとして報告されており、スタイル制御の需要は高まる一方である（アットプレス「世界・日本AI音声合成市場：主要メーカー、競争環境」）。

バーチャルヒューマンやAIアバターとの統合を想定するシステムでは、リップシンク・表情生成との時間的整合性も設計に組み込む必要がある。弊社が開発するDeepAIは、音声合成・リップシンク・表情生成を組み合わせたバーチャルヒューマン構成を採用しており、複数モダリティの同期が実装上の核心となる（詳細はDeepAI最新情報を参照）。このような複数モダリティにまたがる設計についてはマルチモーダルAIの技術解説も参考になる。

また損失関数の設計も最終音質に強く影響する。GANベースのボコーダではスペクトログラム再構成損失とGAN損失を組み合わせるケースが多く、それぞれのバランスが収束特性と音質を左右する。音声・テキストを扱う自然言語処理基盤との連携についてはBERTとNLPの技術ガイドおよびテキストマイニングの手法解説を参照されたい。

波形生成の品質はアーキテクチャだけで決まるものではない。学習データの収録条件・前処理品質・損失関数の設計が相互に絡み合う。音声合成の仕組みを実装に落とし込む際は、目標とする自然性・レイテンシ・インフラコストの優先順位を早期に確定し、アーキテクチャ選定と学習パイプライン設計に一貫して反映することが不可欠である。

参考文献

• NICT 技報「ニューラル音声合成技術」（2022年）
  https://www.nict.go.jp/publication/shuppan/kihou-journal/houkoku68-2_HTML/2022U-02-02-06.pdf
• J-STAGE 日本音響学会誌「歌声の合成における応用技術」75巻7号
  https://www.jstage.jst.go.jp/article/jasj/75/7/75_406/_pdf
• NTT研究開発「表現力の豊かな音声合成技術により、人々の生活をサポートする」
  https://www.rd.ntt/research/JN202504_33343.html
• アットプレス「世界・日本AI音声合成市場：主要メーカー、競争環境」
  https://www.atpress.ne.jp/news/7181194
• クリスタルメソッド株式会社 特許第6452061号「学習データ生成方法、学習方法、及び評価装置」
  https://crystal-method.com/patent/