#voice-changer#nvidia#noise-suppression#rtx#sdk

NVIDIA Maxine Voice: SDK、RTXノイズサプレッション、リアルタイムオーディオ

VoxBooster Team ·

NVIDIA Maxine Audio Effects SDKおよびRTX Voice完全ガイド — GPU加速ノイズサプレッション、エコーキャンセレーション、およびリアルタイムボイスチェンジャーとの組み合わせ方法。

NVIDIA Maxine Voice: SDKガイド、RTXノイズサプレッション、リアルタイムオーディオ

NVIDIA Maxineオーディオ技術は、消費者向けオーディオ処理における最も重要なGPU加速の飛躍の一つを表しています。2020年にメカニカルキーボードのカチカチ音をGPUモデルで除去してストリーマーを驚かせたRTX Voiceとして始まったものは、フルタイムの開発ツールキットであるMaxine Audio Effects SDKに成熟しました:リアルタイムデノイジング、ルームエコーキャンセレーション、およびビームフォーミング機能を備えたアプリを構築するための包括的なツール。このガイドは、テクノロジーの仕組み、セットアップ方法、およびWindowsでブロードキャスト品質のオーディオチェーン用にリアルタイムボイスチェンジャーと組み合わせる方法をカバーしています。

TL;DR

  • NVIDIA Maxine Audio Effects SDKは48 kHzでGPU加速ノイズサプレッション、エコーキャンセレーション、デノイジング機能を持つ無料の開発者ツールキット
  • RTX Voiceは消費者向けの前身; NVIDIA BroadcastとMaxine SDKが現在の形態
  • RTX 20シリーズ以降が必要(ニューラル推論にはTensorコア必須)
  • 1回の効果パスのレイテンシは10-20ms — 会話では知覚不可能
  • 最適なワークフロー:物理マイク → Maxineデノイジング → ボイスチェンジャー → 仮想マイク出力からDiscord/OBSへ
  • VoxBoosterはオーディオチェーンでMaxineの後にすっきり統合、仮想ケーブル不要

NVIDIA Maxine Audio Effects SDKとは何ですか?

NVIDIA Maxine Audio Effects SDKはGPU加速APIのセットで、ディープラーニングベースのオーディオエンハンスメントをリアルタイムオーディオストリームに適用します。これは消費者向けアプリケーションではなく — ソフトウェアベンダー、インディ開発者、研究者がこれらのモデルをゼロから構築せずに、独自のアプリケーションにスタジオ品質のデノイジングとエコー除去を追加するために使用する開発者ツールキットです。

SDKは3つのコアオーディオエフェクトを備えています:

  • ノイズサプレッション — 数千のノイズタイプでトレーニングされたニューラルネットワークを使用してマイクロフォン信号から背景音(ファン、キーボード、街中のノイズ、HVAC)を除去
  • ルームエコーキャンセレーション — スピーカーがルームにオーディオを再生することによって引き起こされる音響反射を識別し除去(ラップトップマイクの通話中のエコーの原因)
  • 音響エコーキャンセレーション(AEC) — ヘッドフォン+スピーカーセットアップ用にチューニングされたエコーキャンセレーションの低レイテンシバージャント

基礎となるアーキテクチャはRTX GPU TensorCoresで実行される畳み込みニューラルネットワークを使用しており、そのため処理はCPUベースのディープラーニングパイプラインから期待される80-150msではなく10-20msのレイテンシのみを追加します。

より詳細な技術ドキュメントはNVIDIA開発者サイトで利用可能です。

RTX VoiceからMaxine SDKへ:簡潔な歴史

テクノロジーの現在の状態を理解するには、タイムラインが重要です。

2020年 — RTX Voice発表。 NVIDIAは無料のスタンドアロンアプリケーションとしてRTX Voiceをリリースしました。RTX GPUのディープラーニングデノイジングモデルを通じて実マイク信号をルーティングする仮想マイクを作成しました。結果はすぐに印象的でした — メカニカルキーボード音、HVAC隆起、カフェの雰囲気は最小限の音声変色で消えます。問題はRTX GPU専用のインストール要件でした(コミュニティパッチはチェックを回避することでGTXカードで一時的に有効化していました)。

2021年 — NVIDIA Broadcast。 RTX VoiceとRTX Greenscreenは、ノイズなし背景除去機能を追加し、ウェブカメラ用アイコンタクト補正を追加したNVIDIA Broadcastという単一アプリケーションにマージされました。オーディオデノイジングモデルは、より高いノイズレベルでの音声保持を改善するために更新されました。

2022-2024年 — Maxine SDK成熟。 NVIDIAは同じモデルを開発者向けのMaxine Audio Effects SDKにパッケージしました。消費者アプリから個別にバージョン管理されています。SDKはより多くのパラメータを公開しました — エフェクト強度、周波数重み付け、モデル選択 — 開発者にGUIアプリが意図的に単純化した制御を与えます。

2025-2026年 — 統合時代。 サードパーティアプリケーション、DAW、音声ソフトウェアはMaxineを直接統合し始めました。NVAFX API(Maxine Audio Effectsのコア)はプラグイン形式および直接C++/Python APIとして利用可能です。

製品オーディエンスインターフェースコントロールレベル
RTX Voice(レガシ)消費者GUIアプリなし — 1クリック
NVIDIA Broadcast消費者GUIアプリ最小限
Maxine Audio Effects SDK開発者C++ / Python API完全
サードパーティ統合アプリ経由の最終ユーザー異なる異なる

Maxineノイズサプレッションはどのように機能しますか?

ノイズサプレッションモデルは、多様なノイズ背景と対になったクリーンスピーチの大量コーパスでトレーニングされた再帰型ニューラルネットワーク(RNN)アーキテクチャです。実行時に短いフレームでオーディオを処理します — 通常10msのウィンドウ — 各周波数ビンのノイズマスクを予測します。ノイズによって支配される周波数は減衰; 音声で支配される周波数は通過します。

これは概念的にはスペクトラル減算(Audacityの組み込みノイズ削減ツールなどで使用される古典的なアプローチ)に似ていますが、ニューラルアプローチは2つの異なる点を行います:

  1. 新規ノイズタイプに一般化します。 古典的なスペクトラル減算には事前にキャプチャされたノイズプロファイルが必要です。Maxineモデルは音声がどのように見えるかを学習し、マッチしないものは何でも抑制します — 具体的に見たことがないノイズさえも。
  2. 音声特性を保持します。 モデルは人間の音声のスペクトラル包絡線を大部分変わらずに保つようにトレーニングされており、RTX Voice/Maxineで処理された音声は積極的な古典的ノイズ削減が生成する「水中」または「水っぽい」アーティファクトを開発しません。

トレードオフはGPU依存です。モデルはTensorCoresのマトリックス乗算スループットがリアルタイムレイテンシで実行する必要があります。同じモデルを実行するCPUはフレームあたり60-120ms必要 — 会話用には遅すぎます。

サポートされるGPUティア

GPU世代TensorコアMaxineサポート注釈
GTX 10/16シリーズいいえサポートされていないTensorコアなし
RTX 20シリーズ(Turing)はい(1世代目)完全サポート最小要件
RTX 30シリーズ(Ampere)はい(2世代目)完全サポートストリーミング推奨
RTX 40シリーズ(Ada Lovelace)はい(4世代目)完全サポート最高速推論
RTX 50シリーズ(Blackwell)はい(5世代目)完全サポート2025+カード

ルームエコーキャンセレーション:過小評価された機能

ノイズサプレッションはほとんどの注目を集めますが、ルームエコーキャンセレーションは多くのセットアップ — 特にヘッドフォンの代わりにデスクトップスピーカーが使用されるオープンデスク環境 — にとって同等の価値があります。

ルームエコーは、スピーカー出力(ゲームオーディオ、音楽、他の人の声)がマイクロフォンに逆流するときに発生します。マイクロフォンはあなたの声と、スピーカーが再生した内容のルームの音響反射の両方を聞きます。これは通話時の「自分の声を2回聞く」または「中空」という慣れた問題を作成し、クリーン音声信号を期待するボイスチェンジャーにアーティファクトを導入します。

MaxineのAECエフェクトは参照信号を使用することでこれを解決します — スピーカーを通じて再生されたオーディオ — マイク入力のどの部分が音響反射であるかを予測し、それを減算します。これは確立された信号処理技術です(コアがNLMS適応フィルタリング)が、Maxineのニューラルエンハンスメントは高スピーカーレベルで適応フィルタが残す残留エコーを低減します。

AECと簡潔なノイズサプレッションを使用する場合:

  • 問題が背景環境音(ファン、キーボード、街)の場合はノイズサプレッションを使用
  • 問題が自身のスピーカーからマイクに入力する音響フィードバックの場合はAECを使用
  • オープンルームブロードキャストセットアップの場合は両方を組み合わせて使用

NVIDIA Broadcastのセットアップ(消費者パス)

ストリーマーまたはコンテンツクリエーターで、SDKをコンパイルしたくない場合は、NVIDIA Broadcastが適切なツールです。フードの下にMaxineのデノイジングをインストールしており、GUIを通じて公開しています。

要件:

  • Windows 10または11
  • RTX 20シリーズ以降のGPU
  • ドライババージョン456.38以降(ほとんどのユーザーはすでにはるか先)

セットアップ手順:

  1. nvidia.com/broadcastからNVIDIA Broadcastをダウンロード
  2. インストールして起動。アプリは3つのパネルを表示:カメラ、マイク、スピーカー。
  3. マイクの下で、物理マイクを入力として選択。
  4. ノイズ除去を有効にし、オプションでルームエコー除去を有効化。
  5. 出力を「NVIDIA RTX Voice (Microphone)」に設定 — これは仮想マイクデバイスを作成。
  6. Discord、OBS、またはその他のアプリで「NVIDIA RTX Voice (Microphone)」を入力デバイスとして選択。

Broadcastが作成した仮想マイクはクリーン、デノイジングされたオーディオを出力し、他のアプリが受け取ることができます。これはVoxBoosterなどのボイスチェンジャーで使用される同じ仮想デバイスパターンです — つまり、2つを連鎖させることができます。

Maxine Audio Effects SDKのセットアップ(開発者パス)

カスタムアプリケーションを構築する開発者向けに、SDKは同じモデルへの直接APIアクセスを提供します。

前提条件:

  • CUDA Toolkit 11.xまたは12.x
  • RTX GPU(ドライバ≥456.38)
  • NGC Developer PortalからダウンロードされたNVIDIA Maxine SDK

コアAPIワークフロー(C++疑似コード概要):

NvAFX_CreateEffect(NVAFX_EFFECT_DENOISE, &handle)
NvAFX_SetU32(handle, NVAFX_PARAM_NUM_CHANNELS, 1)
NvAFX_SetU32(handle, NVAFX_PARAM_SAMPLE_RATE, 48000)
NvAFX_SetString(handle, NVAFX_PARAM_MODEL_PATH, "denoiser_48k.trtpkg")
NvAFX_Load(handle)
// フレームごとのループ:
NvAFX_Run(handle, input_buffer, output_buffer, num_samples)
NvAFX_DestroyEffect(handle)

モデルファイル(.trtpkg)はTensorRT最適化推論グラフです。SDKダウンロードと一緒にバンドルされ、指定するパスに存在する必要があります。SDKはGPUメモリ割り当てとCUDAストリーム管理を内部で処理します。

Pythonバインディングは非公式のnvafx-pythonラッパーを通じて利用可能で、フルC++アプリケーションを書く必要なく迅速なプロトタイプ作成を可能にします。

実用的なフレームサイズ:

  • ノイズサプレッション: 48 kHzで480サンプル = フレームあたり10ms
  • エコーキャンセレーション: 16 kHzで160サンプル = フレームあたり10ms(チェーンが48 kHzで実行される場合はリサンプリングが必要)

SDKドキュメントは、特にオーディオパイプラインがゲームやスクリーンキャプチャと同じGPUで実行される場合、処理ジッターを平滑化するために入出力フレームのダブルバッファリングを推奨しています。

Maxineをリアルタイムボイスチェンジャーと統合する

デスクトップユーザー向けの最も強力なユースケースは、Maxineのノイズサプレッションとピッチシフト、エフェクト、またはAIボイス変換を処理するボイスチェンジャーを組み合わせることです。オーディオチェーンの仕組みは次の通りです:

物理マイク
    ↓
NVIDIA Broadcast仮想マイク(デノイズ、クリア信号)
    ↓
VoxBooster(ピッチシフト / エフェクト / AIボイス変換)
    ↓
VoxBooster仮想マイク出力
    ↓
Discord / OBS / ゲーム / ブラウザ

このチェーンが機能するのは、各ツールが次のツールがチェーンで入力デバイスとして消費できる仮想マイクを公開しているからです。NVIDIA Broadcastは「NVIDIA RTX Voice (Microphone)」を出力; VoxBoosterはそれをソースマイクとして読み取ります。

順序が重要な理由: ノイズサプレッションはボイスチェンジャーの前に来る必要があります、その後ではなく。ボイスチェンジャーを最初に実行してからデノイズすると、ニューラルデノイザーはいくつかの音声エフェクトアーティファクトを「ノイズ」として扱い、減衰させることで、効果品質を低下させます。チェーンを実行: きれい入力 → デノイズ → 変換 → 出力。

各段階でのレイテンシバジェット:

ステージ追加レイテンシ
物理マイクからドライバへ2-5 ms
NVIDIA Broadcastデノイジング10-20 ms
VoxBoosterエフェクトモード5-15 ms
VoxBooster AIボイスモード200-350 ms
仮想マイクからアプリへ2-5 ms
合計(エフェクトモード)~20-45 ms
合計(AIボイスモード)~215-385 ms

エフェクトモードレイテンシは会話では知覚不可能です。AIボイスモードレイテンシ(~250ms中央値)は大西洋横断VoIPコールと同様です — 知覚可能ですがほとんどのストリーミングシナリオで実行可能です。速いペースの競争的ゲームと音声通信には、エフェクトモードが推奨されます。

ストリーミング用のオーディオチェーンセットアップについての詳細は、コンテンツクリエーター向けボイスチェンジャーガイドを参照してください。

DiscordでNVIDIA MaxineオーディオPATHを使用する

Discordには独自のKrisパワード組み込みノイズサプレッションがありますが、Maxine品質のデノイジングは高ノイズレベルで知覚的に優れています — 特にメカニカルキーボード音とルームHVAC。Maxineをupstreamで実行してDiscordのinputであれば、Maxineのモデルを使用しながらDiscordのエコーキャンセレーションメリットを得ることができます。

推奨セットアップ:

  1. 物理マイクでNVIDIA Broadcastデノイジングを有効化。
  2. Discord設定 → 音声&ビデオで、入力デバイスを「NVIDIA RTX Voice (Microphone)」に設定。
  3. 音声処理下で、Discordの組み込みノイズサプレッションを無効(レイテンシを追加し、ダブルプロセッシングアーティファクトを生成)しますが、エコーキャンセレーションは保持。
  4. オプションでBroadcastとDiscordの間のVoxBoosterを経由してルーティング、音声エフェクトのため。

重要な考慮事項:Discordは独自のプラグインスロットで実行しているKrispのようなサードパーティノイズサプレッサも持っている場合、衝突する可能性があります。トラブルシューティング手順については、Discordでのボイスチェンジャーとkrisp競合の詳細ガイドを確認してください。

ストリーミング向けRTX Voice: OBS統合

OBSスタジオユーザー向けに、最もクリーンな統合はNVIDIA Broadcastをマイクデバイスとして使用し、OBSサイドノイズフィルタを追加しないものです — GPUにupstreamで処理させます。

OBSオーディオセットアップ:

  1. OBS → 設定 → オーディオで、マイク/補助オーディオを「NVIDIA RTX Voice (Microphone)」に設定。
  2. オーディオミキサーで、マイクソースを右クリック → フィルタ。
  3. 前に追加した既存のノイズサプレッションフィルタを削除(ダブルプロセッシングは品質を低下させます)。
  4. オプションでコンプレッサフィルタとゲインフィルタを追加(レベル制御 — これらはMaxine後に保持することは問題ありません)。

ストリームライブ中にボイスエフェクトやAIボイスクローニングも必要なストリーマー向けに、OBS前にVoxBoosterをチェーンに追加。OBSはMaxineデノイズ + VoxBooster変換出力をVoxBoosterの仮想マイク経由で受け取ります。これはDiscordのボイスチェンジャーセットアップで詳細にカバーされた同じアプローチです。

Maxine後のボイスクローニングとAIボイス変換

より静かですが重要なユースケース: Maxineクリーンオーディオをアイボイス変換パイプラインにフィード。AIクローン音声でボイスオーバーコンテンツを作成している場合、入力オーディオの品質は変換出力に直接影響します。ノイズ入力はノイズクローンを生成します。

ボイスクローンデータセット構築の標準実践:

  1. ソースオーディオを記録(あなたの音声またはライセンス取得したボイスアクターの音声)
  2. Maxineノイズサプレッションをオフラインで最大効果強度で実行 — ここではレイテンシより品質が重要
  3. 5-15秒クリップにセグメント化
  4. クリーンセグメントをトレーニングパイプラインにフィード

結果のボイスモデルは、標準的なホーム環境で生のマイク録音でトレーニングされたものより、顕著にクリーンな高周波詳細とノイズフロアアーティファクトが少なくなります。これは、ノイズが簡単にモデルが学ぶ必要とする谱細構造をぼかすフリケーティブ(s、f、sh)などの子音にとって特に重要です。

AIボイスクローニングワークフローとそれらがリアルタイムボイスチェンジャーと異なる方法の深い見解については、ボイスオーバーのボイスクローニングガイドを参照してください。

一般的なMaxineおよびRTX Voice問題のトラブルシューティング

「NVIDIA RTX Voice仮想マイクがデバイスリストに表示されない」 Windows Audioサービスを再起動(Win+R → services.msc → Windows Audio → 再起動)。NVIDIA Broadcastはシステム更新後、仮想デバイスの登録に失敗することがあります。問題が解決しない場合は、Broadcastをアンインストールして再インストール。

「エフェクトはキーボード音に影響を与えていないようです」 Broadcast UIでエフェクト強度が100%に設定されていることを確認。一部ユーザーは誤って50%に置いたままです。また、物理マイクが実際にBroadcast入力として選択されていることを確認 — RTX Voiceマイク自体ではありません(フィードバックループを作成)。

「音声が中空に聞こえるまたは『浮遊』品質を持っています」 デノイジングモデルが非常に静かな部屋でオーディオを過度に抑制しています。エフェクト強度を70-80%に低下させます。あるいは、Maxine SDKを直接使用し、NVAFX_PARAM_INTENSITYパラメータを低下させます。

「Broadcast有効化後、レイテンシが劇的に増加した」 GPUドライバが最新であることを確認。古いドライバ(520前)はMaxineが非同期GPUモードの代わりに同期CPU失速モードで処理するバグを持っていました、60-80msの不要なレイテンシを追加。

「VoxBoosterとNVIDIA Broadcastは正しく連鎖しません」 VoxBoosterの入力デバイスが「NVIDIA RTX Voice (Microphone)」に設定されていることを確認し、物理マイクではありません。両方が物理マイクに設定されている場合、シリーズではなく並列で処理されます — エフェクトは得ますがノイズサプレッション利益ではありません。Windows Sound設定が物理デバイスにデフォルトマイクをリセットしていないことも確認。

NVIDIA Maxineと他のノイズサプレッション解決策を比較

ノイズサプレッション景観には複数の競争的アプローチがあります。Maxineは唯一の強力なオプションではありませんが、比較は本当にどこで卓越しているかを明らかにします。

ソリューションテクノロジーレイテンシGPU必須コスト最適用途
NVIDIA Maxine / Broadcastニューラル(Tensorコア)10-20 msRTX必須無料RTX GPU所有者
Krispニューラル(CPU)20-40 msいいえ無料/有料層非RTXユーザー
Discord組み込みニューラル(CPU/cloud)20-50 msいいえ無料(Discord)Discordのみ
Adobe Audition Denoise谱ニューラルオフラインのみいいえ有料(Creative Cloud)後処理
RNNoiseニューラル(CPU、オープンソース)~10 msいいえ無料(オープンソース)あらゆるGPUの開発者
Audacity Noise Reductionスペクトル減算オフラインのみいいえ無料オフライン編集

Maxineの利点はGPU加速レイテンシとKrisps消費者層より遙かに大きなデータセットでトレーニングされたモデルの組み合わせです。RTXカードのストリーマー向けに、MaxineまたはNVIDIA Broadcastは通常最高の無料選択肢です。非RTXユーザーはKrispを検討すべき — CPUベースモデルは大幅に改善し、最新CPUでよく実行されます。Krispの統合ワークフローを詳細にカバーしていますボイスチェンジャーKrisp統合ガイド。

Maxine Audio SDKとNVIDIA Broadcast: どちらを使用すべき?

コード不要でノイズサプレッション欲しい最終ユーザーの場合は、NVIDIA Broadcastを使用。それは同じ基盤となるモデルの周囲の消費者ラッパー、自動更新を取得し、仮想マイク経由ですべてのメジャーアプリと統合されます。

カスタムオーディオ強化が必要なアプリケーションを構築する開発者の場合 — 音声チャットアプリ、ストリーミングツール、創造的ソフトウェア製品 — Maxine SDKが正しい選択。それはあなたに与えます:

  • エフェクト強度の高プログラム制御
  • モデル選択へのアクセス(複数のモデル品質レベル)
  • 別個の消費者アプリインストール要求なしにデノイジングを埋め込む能力
  • カスタムオーディオパイプラインとの統合のためのフレームレベル制御

SDKはオフラインオーディオファイルバッチ処理用も正しい選択です — ボイスモデルトレーニング、ポッドキャスト録音クリーニング、またはGUIワークフローが遅すぎるオーディオデータセット前処理。

結論

NVIDIA Maxine Audio Effects SDKおよびRTX Voiceはアクセス可能で、GPU加速オーディオ処理における本当のパラダイムシフトを表します。かつてハードウェアDSPユニットまたは高額なレコーディングスタジオが必要だったものが、ミッドレンジゲーミングGPUで10-20msで実行でき、古典的なアルゴリズムが決して信頼できる方法で除去できなかったノイズを除去できます。

RTXカード持つほとんどのWindowsユーザー向けに、実用的なセットアップは簡潔です: NVIDIA Broadcastをインストール、マイクのノイズサプレッション有効化、クリーン仮想マイク信号を受信させます。リアルタイム音声エフェクト、ピッチシフト、またはAIボイス変換をon topで望む場合、VoxBoosterなどのツールはこのチェーンにすっきり適合します — Broadcast仮想マイク入力として使用し、独自の仮想マイク出力を公開, すべてカーネルドライバまたは管理者レベルのオーディオルーティングソフトウェアなし。結果は消費者デスクトップからのブロードキャスト品質のオーディオチェーン、エフェクトモードで50ms未満のレイテンシで端から端まで実行。

ボイスエフェクト付きストリーミングオーディオチェーン設定の完全な概要については、Discordのボイスチェンジャーガイドまたはより広いストリーミングのボイスチェンジャーガイドを参照してください。

VoxBoosterを試す — 3日間無料。

リアルタイム音声クローン、サウンドボード、エフェクト — 会話するすべての場所で。

  • カード不要
  • ~30msのレイテンシ
  • Discord · Teams · OBS
3日間無料で試す