フォルマントシフティング解説:自然な声の変化

AIボイスチェンジャーをリアルに聞かせるフォルマントシフティングの仕組みを学びましょう。声道の共鳴、フォルマント保存、自然な結果を得るための調整方法を解説します。

フォルマントシフティング解説:自然な声の変化

ピッチを変えるだけのAIボイスチェンジャーは、3秒以内に偽物だとわかります。説得力のある声の変換の本当の秘密は、フォルマントシフティングにあります。これはピッチとは独立して、声道の音響的特性を定義する共鳴周波数を調整することです。フォルマントの仕組みを理解すれば、ほとんどの安いボイスチェンジャーが何を間違えているかがすぐわかり、自分の変換が処理されたように聞こえるときに調整すべき設定がわかります。

この記事では、フォルマントの物理学をわかりやすく説明し、フォルマント制御なしのピッチシフティングがリスやスローモーションテープのように聞こえる理由、最新のAIボイスチェンジャーが古いDSPツールと比べてフォルマントをどのように処理するか、そしてVoxBoosterのフォルマント制御を使って最も自然な結果を得る方法を説明します。


まとめ

  • フォルマントは声道の形によって生み出される共鳴周波数のピークで、母音の音と声の特性を定義します。
  • ピッチシフティングだけでは基本周波数が移動しますが、フォルマントはそのままで、不自然な「アニメ」効果が生まれます。
  • フォルマントシフティングはピッチとは別にスペクトルエンベロープを調整し、声の変換が本当の別の人に聞こえるようにします。
  • ピッチシフトとフォルマントシフトの理想的な比率は、変換目標(微妙な変装、キャラクターボイス、完全な性別の変換)によって異なります。
  • AIボイスチェンジャーはフォルマント軌跡を継続的にモデル化し、固定スペクトルワープDSPよりもスムーズな結果を生み出します。
  • VoxBoosterにはピッチとフォルマントの独立したスライダーと、フォルマントを自動的に処理するAI音声クローンがあります。

フォルマントとは何か

声帯は基本周波数を持つ唸り音を生み出します。これがあなたのピッチです。しかし、その生の唸りは声としてほとんど認識されません。それを認識可能な母音、感情的なテクスチャ、個人的な音色に形成するのが、喉頭上方の腔室の共鳴です。喉、口、唇、鼻腔が合わさって声道を形成しています。

声道は複雑で常に変化する形を持つ管です。どの共鳴キャビティと同様に、自然な共鳴周波数(音波が相殺されずに互いに強化される周波数帯)を持っています。出力スペクトルのこれらのピークをフォルマントと呼び、低いものから高いものへ番号が付けられています:F1、F2、F3など。

F1とF2が知覚的な作業のほとんどを担っています。「heed」の母音は低いF1と非常に高いF2を持っています。「hod」の母音はF1とF2の両方が中間範囲にありますが、互いに近い位置にあります。脳はこれら2つのピークを使って母音をほぼ瞬時に識別します。そのためフォルマントは母音の「指紋」と表現されることがあります。音響理論についての詳細な読み物としては、Wikipediaのフォルマントに関する記事が堅実な出発点で、声道に関する記事が解剖学的な文脈を提供しています。

F3以上は個人の音色に寄与します。電話で誰かが名前を言う前に友人の声を認識できるのはこの特性のためです。F3は声道の長さと個人の解剖学と強く相関しています。

声道の長さが重要な理由

声道が長い人はスペクトル内でより低い位置にフォルマントがあります。これが、平均的に男性が女性よりも低いフォルマントを持ち、大人が子供よりも低いフォルマントを持つ理由です。ピッチだけではなく、声道の物理的な長さのためです。180cmの男性と150cmの女性が同じ音楽的ピッチを出すことがあっても、フォルマントは完全に異なるスペクトル位置にあります。

体の大きさ、声道の長さ、フォルマント位置の関係は単なる学術的な知識ではありません。これが、ピッチだけを変えると不自然に聞こえる根本的な理由です。ピッチを下げるために録音を遅くすると、すべてのフォルマント遷移も遅くなります。母音は長くて緩慢に聞こえ、間違った速度で再生されているレコードのようです。速くすると、フォルマントは比例的な位置にとどまりますが、今度は高すぎて密集しすぎているように感じられ、おなじみのリスのアーティファクトが生まれます。

異なるピッチで動作する実際の声は、異なる声道の構成によってフォルマントが生み出されます。フォルマントの位置は変わりますが、ピッチに対して単純な線形比率ではありません。良い声の変換はその関係をモデル化する必要があります。

ピッチシフティング対フォルマントシフティング

ここがほとんどの安いボイスチェンジャーが失敗するところです。ピッチシフティングは簡単です:オーディオ信号の周波数成分を掛けたり割ったりし、テープ変化のような音を避けるために時間を補正するだけです。結果は基本周波数が上下した声ですが、スペクトルエンベロープ(周波数応答の全体的な形)は元の声と同一です。

一方、フォルマントシフティングは基本的なピッチ構造をそのまま(または別々に調整して)残しながら、スペクトルエンベロープを移動させます。音声の短期スペクトルを分析し、エンベロープ(高調波ピークを結ぶ滑らかな曲線)を推定し、そのエンベロープを周波数内で上下に歪め、その後信号を再合成することで機能します。

実際の違い:

技術何が動くか何が残るか典型的なアーティファクト
ピッチシフトのみ基本周波数スペクトルエンベロープ/フォルマントリス(上)またはスローモーション(下)
フォルマントシフトのみスペクトルエンベロープ基本ピッチ元のピッチで別の人が話しているように聞こえる
両方、正しい比率両方、一致別の声タイプへの説得力のある変換
両方、間違った比率両方、不一致処理された、ロボットのような、または空洞な音

「正しい比率」は達成しようとしている変換に大きく依存します。ピッチを4半音上げてフォルマントを15〜20%上げることは、背の高い人が背の低い人と同じピッチで話すときに起こることの大まかな近似値です。しかし実際の関係は非線形で声に依存しており、これがAIモデルが固定DSPチェーンに対して大きな優位性を持つところです。

フォルマント保存:もう一つの使用例

すべてのフォルマント操作が変換に関するものではありません。フォルマント保存(ピッチが変わってもフォルマントを一定に保つ機能)は、特定のシナリオでも同様に重要です。

歌手が声のピッチ補正を行ったりパフォーマンスを転調したりすると、単純なピッチシフティングによって母音が極端な位置で認識不可能なものになります。フォルマント保存は、音符が変わっても母音の質を安定させます。これはプロのピッチ補正ソフトウェアの標準機能です。

ボイスチェンジャーでは、保存が重要なのは微妙な調整をしたい場合です:ティンバーの個性を変えずにわずかに暖かみや明るさを加えるか、特定の周波数範囲で硬さを加えるマイクを補正するなど。ライブストリーム中に自分をわからなくすることなく、特定のキャラクターのリズムに合わせるのにも役立ちます。

VoxBoosterのフォルマントスライダーはゼロを中心に動作します。正の方向に移動するとフォルマントが上がり(明るい、小さいトラクトの質)、負の方向に移動するとフォルマントが下がります(暗い、大きいトラクトの質)。ピッチだけを調整してゼロに置いておくと、行きすぎるとリス効果が出ます。較正された比率で両方をロックすると変換が得られます。フォルマントのみを調整すると微妙な音色の彫刻が得られます。

従来のDSPツールによるフォルマントの処理

クラシックなボイスチェンジャーは、短い音声フレームからスペクトルエンベロープを抽出し、そのエンベロープを固定乗数で歪め、音声を再構築するために、LPC(線形予測符号化)またはケプストラルエンベロープ推定と呼ばれる技術を使用します。MorphVOXやVoicemodの以前のバージョンなどのツールはこのアプローチの変形を使用しています。

中程度のシフト量で持続する母音に対しては合理的に機能します。問題はエッジ部分に現れます:

子音と遷移。 摩擦音(「s」や「f」)や閉鎖音バーストのスペクトルエンベロープは、母音と同じ構造を持っていません。母音最適化されたエンベロープワープを子音に適用すると、子音がぼやけるかアーティファクトが生まれます。

高速な発話。 LPCフレーム分析は、各短い窓内の信号が準定常であることを前提とします。高速な発話と急速なフォルマント遷移はこの前提に挑戦し、聞こえる「バブリング」アーティファクトを生み出します。

固定乗数。 スペクトル全体に均一に適用される単一のフォルマントシフト乗数は、実際の声道の動作と一致しません。声道が構成を変えたとき、実際のフォルマントはすべて同じ比率でシフトするわけではありません。

これらの制限は致命的ではありません。多くのストリーマーが従来のDSPベースのチェンジャーを正常に使用しています。しかし、自然な結果を得るためには慎重な調整が必要で、一部の変換はクリーンには達成できません。

AIボイスチェンジャーによるフォルマントの異なる処理

最新のAIボイスチェンジャー(ここが技術が本当に進歩した部分です)は、従来の意味でスペクトルエンベロープを推定して歪めることをしません。代わりに、人間の音声の大規模なデータセットでトレーニングされたニューラルネットワークを使用して、自然な発話中のフォルマントの動き方を含む声の特性の統計的構造を学習します。

実行時に、モデルは入力フォルマントに固定の数学的変換を適用するのではなく、ターゲット音声のフォルマント特性を反映した出力を生み出します。実際の違いは次のとおりです:

子音の処理。 モデルが実際の声が子音をどのように生み出すかを学習しているため、汎用的なスペクトルワープよりも自然に処理します。

継続的な適応。 独立した固定フレームを分析する代わりに、再帰型または注意機構ベースのモデルは周辺フレームのコンテキストを使用し、音素間の遷移をよりスムーズにします。

ターゲットに合わせたフォルマント。 特定の声をクローニングする際、ニューラルモデルは汎用シフト式が予測するものではなく、その人の声が実際に行うことに一致するフォルマントを生成します。

トレードオフは計算コストと遅延です。ニューラル音声変換はLPCよりも要求が高いです。コンシューマーハードウェアで10ms以下のラウンドトリップを達成することは、本物のエンジニアリング上の問題です。VoxBoosterのWASAPIベースのパイプラインは、慎重なバッファサイズを用いてオーディオスレッドで処理し、ニューラル処理を専用のバックグラウンドスレッドで維持して結果を事前にバッファリングすることで、10ms以下のオーディオ遅延を達成しています。これはDiscordやゲーム内通信でのライブ使用に非常に重要な設計選択です。

特定の声変更目標のためのフォルマントシフティング

性別変換

これはボイスチェンジャーで最も求められる変換であり、説得力を持って行うのが最も難しい変換でもあります。説得力のある男性から女性への変換には、ピッチを上げながらフォルマントを約15〜25%上げる必要があります。ただし正確な量は声、目標、話す内容の音声によって異なります。

よくある間違いは、フォルマントに触れずにピッチを上げて、なぜ明らかに処理された感じがするのか不思議に思うことです。2番目のよくある間違いは、別の声タイプのために較正されたプリセット値を使用することです。平均より深い男声を持っている場合、中間的な男声を対象としたプリセットはまだ合わないように聞こえます。

小さなフォルマントシフト(5〜10%)から始めて聞きましょう。男声は中立母音でF1が約500Hz、F2が約1500Hzである傾向があります。女声はF1が700Hz近く、F2が約2000Hzです。フォルマントを20〜25%上げると適切な範囲に入ります。次にピッチを調整します。通常、フォルマントシフトがすでに知覚的な作業のほとんどを行っているため、思ったよりも少ないピッチシフトで済みます。

キャラクターボイス

ロボットボイス、エイリアンキャラクター、悪魔、同様のエフェクトは、意図的に自然な声道モデルを壊す方法でフォルマントシフティングを使用することがよくあります。それが目的です。フォルマントを劇的に下げると、ステレオタイプの「大きな悪魔」効果が生まれます。わずかなピッチの下降を伴う極端な上向きシフトは、機械的または地球外のものとして読まれる非常に非人間的なテクスチャを生み出します。

参考として、フォルマント作業とうまく組み合わさる補完的な処理技術については、ロボットボイスエフェクトラジオボイスエフェクトの関連記事をご覧ください。

微妙な変装やプライバシーマスキング

すべてのユースケースが劇的な変換ではありません。一部のストリーマーは、視聴者には明確に認識されるが本当の声には帰属できない方法で話したいと考えています。小さなフォルマントシフト(5〜10%)と適度なピッチ調整(2〜4半音)を組み合わせれば、人間の聴衆に明らかに処理されたように聞こえることなく、音声識別ソフトウェアを失敗させるのに十分です。

音色を変えないピッチ補正

歌のインタールード中に音程を保つため、またはより響きのあるピッチでポッドキャストをするためにVoxBoosterのピッチ補正機能を使用する場合、フォルマント保存を有効にすることで、ピッチが調整される間も母音が自然に保たれます。これはプロのブロードキャスターが喉頭を訓練せずに習慣的な発話ピッチを動かすために使う技術と同じです。

VoxBoosterのフォルマント制御の使い方

VoxBoosterのボイスエフェクトパネルのフォルマントスライダーは、ピッチスライダーの単位と一致する半音で表現されており、直感的な組み合わせが可能です。実際的なワークフローを紹介します:

  1. VoxBoosterを開き、サイドバーからボイスエフェクトモードを選択します。
  2. 目的の変換のためのベースピッチシフトを設定します。例えば、軽い声のために+4半音。
  3. ピッチを設定したら、フォルマントスライダーをゆっくり上向きに動かします。可能であればヘッドフォンで聴いてください。声が「私のピッチシフト版」から「別の人」に変わるのが聞こえます。
  4. 自然に聞こえる+4半音のピッチ変化に対する最適ポイントは、通常フォルマントシフトが+2〜+3半音の辺りです。フォルマントが音楽的な半音で線形にではなく、声道の長さに比例してスケールするため、比率は1:1ではありません。
  5. AIボイスクローンモードを使用している場合、ニューラルモデルが自動的にフォルマントを選択します。フォルマントオフセットスライダーは、モデルの出力に対する微調整として機能します。特定の母音範囲でターゲット音声がわずかにずれている場合に役立ちます。

OBSユーザーには、VoxBoosterが標準の仮想オーディオデバイスとして登録されます。OBS設定でマイクソースとして選択し、フォルマントシフトされたオーディオが他のマイク入力と全く同じようにルーティングされます。OBS側でプラグインは不要です。Discord設定の同等については、how-to-use-voice-changer-on-discordの記事をご覧ください。ルーティングの原則は同一です。

フォルマントシフティングと連動するリアルタイムエフェクトの完全なリストはVoxBoosterの機能ページで、完全な技術仕様はボイスチェンジャー機能ページで確認できます。

よくある間違いとその修正方法

ヘッドフォンなしでのフォルマントシフト。 スピーカーのブリードと室内音響は、フォルマント処理が導入するアーティファクトをマスクします。スピーカーで問題なく聞こえるものが、ヘッドフォンで明らかに処理されたように聞こえることがよくあります。ストリーム視聴者はヘッドフォンで聴いているのです。

声を較正せずにプリセットを使用すること。 プリセットは開発者のデータセットにある「典型的な」声を基に構築されています。声が典型的でない場合(珍しい共鳴、アクセント、ピッチレンジ)は、プリセットを循環させるよりも、5分間かけて手動で較正した方が良い結果が得られます。

一方向への過度のシフト。 フォルマントシフティングは強力なエフェクトです。20%のシフトはすでに大きな変換です。40%に達し始めると、フォルマントが高調波シリーズとうまく相互作用しない周波数領域に押し込まれるため、空洞でチューブのようなアーティファクトが生まれ始めます。

ノイズ抑制との相互作用を無視すること。 VoxBoosterの内蔵サプレッサーを含むノイズ抑制フィルターは、ルーティングに応じてエフェクトチェーンの前か後でシグナルに動作します。ノイズ抑制がフォルマントシフティングの上流にある場合、サプレッサーによるスペクトルのぼやけがフォルマント推定を劣化させます。下流にある場合、サプレッサーがフォルマントシフトされた信号の高周波成分の一部を消費する可能性があります。両方使用する場合は順序を実験してください。

AIクローニングがエフェクトチェーン調整の代替になることを期待すること。 AI音声クローニングはフォルマントを処理しますが、モデルの出力は入力音声の品質、マイクの周波数応答、バックグラウンドノイズの影響を受けます。モデルにクリーンなシグナルを入力することで、ノイズの多い室内残響録音よりもはるかにクリーンな変換が生まれます。

声が特定の人に聞こえる理由

これは最初に見えるよりも深い問題であり、AIボイスチェンジャーが実際に何をしているかを理解するのに関連しています。声から話者を識別することには以下が含まれます:

  • 基本周波数の範囲とその変動(話す「メロディー」)
  • フォルマント周波数とその動的な軌跡(母音の「形」)
  • 声の品質パラメーター:息っぽさ、引きずり声、鼻音性、声帯閉鎖の度合い
  • リズム、速度、プロソディー(ペースとストレスの付け方)
  • 鼻腔と副鼻腔からの共鳴特性

単純なピッチとフォルマントのシフトは最初の2つを近似できます。3番目と4番目には、より洗練された処理が必要です。ターゲット音声に対するこれらの特徴の統計的分布をモデル化することで、これがニューラル音声変換が行うことです。プロソディー(4番目)は通常ボイスチェンジャーでは全く変更されないため、他のすべてが変換されても話し方のパターンは依然として認識できるままです。

これを理解することで、現実的な期待を設定するのに役立ちます。ボイスチェンジャーはあなたの聞こえ方を変えられます。話し方は変えられません。声の変換と意図的なプロソディーの模倣の組み合わせが、最も説得力のあるモノマネを生み出します。しかし第2の部分には練習が必要で、ソフトウェアではありません。

音響科学の深い部分に興味のある読者には、Gunnar Fantによる声道音響学のこの古典的な論文が基礎的な参考文献であり、OBS仮想オーディオデバイスドキュメントがOSレベルでの仮想オーディオルーティングの仕組みを説明しています。

よくある質問

ボイスチェンジャーにおけるフォルマントシフティングとは何ですか?

フォルマントシフティングは、必ずしもピッチを変えることなく、声道の共鳴周波数(母音の音やティンバーの特性を定義する声のスペクトルのピーク)を移動させます。これにより、声の変換が自分のスピードアップ版やスローダウン版ではなく、別の人物に聞こえるようになります。

フォルマントシフティングはピッチシフティングと同じですか?

いいえ。ピッチシフティングは、音楽の音符が上下するように、声の基本周波数を上げたり下げたりします。フォルマントシフティングは、ピッチとは独立して共鳴キャビティの特性を変えます。適切な比率で両方を行うことが、説得力のある声の変換を生み出します。

ピッチシフティングだけではなぜ不自然に聞こえるのですか?

フォルマントを調整せずに声のピッチを変えると、共鳴ピークは同じスペクトル位置にとどまったまま基本周波数が移動します。その結果は、アニメのリスやスローモーション録音のように聞こえます。なぜなら、実際の人間の声はそのような振る舞いをしないからです。自然な声は、声道の長さに合わせてスケールするフォルマントを持っています。

フォルマント保存とは何で、どのような場合に必要ですか?

フォルマント保存は、ピッチが変わっても元の共鳴周波数を保ちます。歌ったり話したりする際に、処理された感じなく音程を保つ必要がある場合に必要です。合唱アプリでよく使われています。ボイスチェンジャーの文脈では、ティンバーの特性を変えずに微調整したい場合に役立ちます。

AIボイスチェンジャーは古いツールとどのように異なるフォルマント処理を行いますか?

従来のDSPツールはフォルマントを固定のスペクトルエンベロープワープとしてシフトします。最新のAIボイスチェンジャーは声を継続的に分析し、ターゲット音声の自然なフォルマント軌跡を予測するニューラルモデルを適用するため、高速な発話や子音バーストでもよりスムーズでリアルな遷移を生み出します。

VoxBoosterにはフォルマント制御機能がありますか?

はい。VoxBoosterはピッチスライダーとは独立した、ボイスエフェクトパネルのフォルマントシフトスライダーを提供しています。一緒にまたは別々に動かすことができます。AIボイスクローンモードでは、ニューラルモデルが自動的にフォルマントを処理しますが、フォルマントオフセットを調整して出力を微調整することもできます。

フォルマントシフティングはゲームのアンチチートやボイス検出に問題を引き起こしますか?

いいえ。フォルマントシフティングは、仮想マイクに届く前にオーディオストリームに適用される標準的なオーディオDSP操作です。VoxBoosterはWASAPIを使用し、標準的な仮想オーディオデバイスを登録します。ゲームやアンチチートシステムは、ドライバーレベルのフックではなく、通常のマイク入力を認識します。

まとめ

フォルマントシフティングは、声の変換で「ボイスチェンジャーを使っていますか?」と聞かれるものと、「それが本当の声ですか?」と聞かれるものの違いです。フォルマント意識なしのピッチシフトはスタジオのトリックのように聞こえます。変換目標に合った正しい比率でピッチとフォルマントを両方合わせると、別の人のように聞こえます。

声の作業を真剣に考えている場合(ストリーミング、コンテンツ制作、プライバシー、または単なる実験)、プリセットを循環させるよりも、フォルマントが何をするかを実際に理解し、その理解をセットアップに適用するために一晩かける価値があります。メンタルモデルを持てば、コントロールは複雑ではありません。

VoxBoosterは両方の独立したスライダーと、ターゲット音声変換のためにフォルマントマッピングを自動的に処理するAI音声クローンを提供しています。3日間の無料試用期間で、この記事で説明されているすべてのワークフローを試すのに十分な時間があります。

VoxBoosterをダウンロード — 3日間無料試用、クレジットカード不要。

VoxBoosterを試す — 3日間無料。

リアルタイム音声クローン、サウンドボード、エフェクト — 会話するすべての場所で。

  • カード不要
  • ~30msのレイテンシ
  • Discord · Teams · OBS
3日間無料で試す