ツールを呼んでも会話が止まらない音声AI。NVIDIAが11Bの重みを公開

Nemotron VoiceChat 11B は、NVIDIAが2026年8月3日に公開した11Bパラメータの full-duplex 音声対話モデルで、ツール実行中も会話が途切れない構成を採用しています。

📖 この記事で分かること

• NVIDIAが公開した音声対話モデルの構成と実測値
• ツール実行中も会話を止めない設計の仕組み
• ターンテイキング遅延やツールコール精度の実数
• 英語のみ・研究用途向けという利用条件

💡 知っておきたい用語

• full-duplex(全二重): 電話のように、相手が話している最中でも自分が話せる通信方式。話し終わるまで待つ「交互」方式の対義語。

最終更新日: 2026年8月4日

▶ 公式ページ

• NVIDIA-NemotronLabs-VoiceChat-11B モデルカード(Hugging Face)
• Nemotron AI Models(NVIDIA Developer)

音声AIの争点が「賢さ」から「止まらないこと」へ移った

音声AIの評価軸は、応答の賢さから、会話が途切れずに続くかどうかへ移りつつあります。NVIDIAが公開したモデルは、その流れを設計で示したものです。

この記事のポイント

• NVIDIAが2026年8月3日、音声対話モデル NVIDIA-NemotronLabs-VoiceChat-11B の重みを公開しました(2026年8月時点)。
• ターンテイキング遅延は約450ms。ツールコール対応は「オープンな full-duplex モデルで初」と説明されています。
• ライセンスは OpenMDW 1.1 ですが、モデルカードには「研究用途向け」と明記。対応言語は英語のみです。

従来の音声エージェントは、音声認識(ASR)、LLM【エルエルエム】、音声合成(TTS)を直列につなぐカスケード構成が一般的でした。この構成では各段が前の段の出力を待つため、遅延が積み上がります。さらに、利用者が話し終えたかどうかを無音で判定するため、少し考え込んだだけで割り込まれる、あるいは逆に反応が遅れるといった不自然さが残ります。

full-duplex は、入力を受け取りながら同時に出力を生成する方式です。相手の発話中でも処理を続けられるため、割り込みや相づちが成立します。今回のモデルは、この方式を単一のストリーミング構成で実装し、カスケード由来の遅延を設計段階から潰しにいっています。

11Bの中身と、公開されている実測値

モデルは11Bパラメータで、Hybrid Mamba/Transformer アーキテクチャを採用しています(2026年8月時点)。

内部は4つの部品で構成されます。音声入力を受ける Fast Conformer 音声エンコーダ(Nemotron-Speech-Streaming-En-0.6b 由来)、応答を組み立てる Nemotron Nano v2 9B の LLM バックボーン、音声を出力する NVIDIA の TTS デコーダとコーデック、そしてツールコール用の専用出力チャネルです。

入出力は、ユーザー音声を16kHz、テキストプロンプトと合わせて受け取り、エージェント音声を22.05kHzで返します。同時にテキスト応答とユーザー発話の文字起こしも出力されます。

モデルカードに記載された数値は次のとおりです。

• ターンテイキング遅延: 約450ms
• Smooth Turn Taking: 遅延448ms / TOR 0.82
• User Interruption: 遅延480ms / TOR 1.0
• BFCL-v3(ツールコール)平均: 56.1%
• VoiceBench: オープンな full-duplex モデル中で2位

学習には約550,000時間の音声が使われています。Fisher、LibriVox、LibriTTS、VCTK などの公開データと自社データを、実データと合成データの混成で構成したものです。

「ツールを呼ぶと会話が止まる」への答え

full-duplex モデルの実務上の弱点は、外部ツールを呼び出した瞬間に会話が止まることでした。検索やAPI【エーピーアイ】実行の結果が返るまで、モデルは黙り込みます。人間同士の会話であれば「ちょっと調べますね」と言いながら手を動かすところが、不自然な沈黙になります。

今回のモデルは、ツールコール用のスクリプトを予測する出力チャネルを本体とは別に持たせることで、この問題に答えています。音声応答の流れとツール実行の指示が別経路を通るため、ツールを実行している間も会話側の生成が止まりません。NVIDIAはこれを「ツールコールに対応した初のオープン full-duplex モデル」と説明しています。

ただしツールコールの精度そのものは、BFCL-v3 の平均で56.1%です。会話を止めない仕組みは整った一方、呼び出しの正確さは発展途上の段階にあります。

誰が今使えるのか

利用条件は限定的です。対応言語は英語のみで、日本語での対話は想定されていません。

ライセンスは OpenMDW License Agreement version 1.1 ですが、モデルカードには「研究用途向け(ready for research purposes only)」と明記されています。重みがオープンに配布されている一方で研究用途の但し書きが併記されており、商用利用の可否については、導入前にライセンス本文と但し書きの両方を確認する必要があります。

動作環境は Linux で、対応GPUは A100 / H100 / H200 / B100 / B200 / RTX-6000 です。推論はvLLMで加速し、オフラインのバッチ処理と、WebSocket経由のストリーミング対話という2つのモードが用意されています。手元のノートPCで試せる規模ではなく、データセンター級のGPUが前提になります。

編集部の見方

編集部は、今回の公開で最も効くのは450msという遅延の数字ではなく、ツールコールを別チャネルに逃した設計そのものだと見ています。

• 根拠1: 実務の音声エージェントは、単独で完結せず必ず外部システムを叩きます。予約確認、在庫照会、顧客情報の参照といった処理が入るたびに会話が止まる設計では、遅延を何ミリ秒削っても体験は改善しません。沈黙の発生箇所を構造的に減らしたことのほうが影響は大きいと考えます。
• 根拠2: BFCL-v3 の56.1%という数値は、ツール呼び出しの賢さがまだ途上にあることを示しています。それでもこのモデルが意味を持つのは、勝負どころがモデルの賢さではなく会話を止めない構成にあるからです。精度は今後の学習で上げられますが、構成は後から差し替えにくい部分です。
• 根拠3: 重みが公開されているため、この設計を第三者が検証し、改造できます。クローズドな音声モデルでは、同じ遅延特性が出せても内部の作りを確かめる手段がありません。

この見方が変わる条件は2つあります。ひとつは、商用利用の可否が明確になり日本語を含む多言語対応が入ること。この段階で評価は「研究者向けの参考実装」から「業務導入の選択肢」に移ります。もうひとつは、クローズドなモデルが同等の設計をより低い遅延で提供した場合で、そのときオープンであることの価値は検証可能性の側に寄ります。

現時点では、日本語で音声エージェントを組みたい読者がそのまま採用できるものではありません。一方で、音声AIの設計がどこへ向かっているかを実装レベルで確かめたい場合、公開されたモデルカードとベンチマーク値は具体的な参照点になります。

よくある質問

Q: 日本語で使えますか

A: 使えません。モデルカードで対応言語は英語のみと明記されています(2026年8月時点)。

Q: 商用サービスに組み込めますか

A: ライセンスは OpenMDW License Agreement version 1.1 ですが、モデルカードには「研究用途向け」と記載されています。商用利用を検討する場合は、ライセンス本文とこの記載の両方を確認してください。

Q: 手元のPCで動かせますか

A: 動作環境は Linux で、対応GPUは A100 / H100 / H200 / B100 / B200 / RTX-6000 とされています。一般的なノートPCでの実行は想定されていません。

まとめ

NVIDIAは2026年8月3日、11Bパラメータの full-duplex 音声対話モデルの重みを公開しました。ターンテイキング遅延は約450msで、ツールコール用の出力チャネルを分離することで、ツール実行中も会話が途切れない構成を取っています。対応は英語のみ、モデルカードには研究用途向けの記載があり、動作にはデータセンター級のGPUが必要です。音声AIの競争が、応答の賢さから会話を維持するシステム設計へ移りつつあることを示す一例です。

【用語解説】

• ターンテイキング: 会話の中で話し手が交代すること。音声AIでは、利用者が話し終えたと判断して応答を始めるまでの速さと正確さが評価対象になります。
• TOR: モデルカードのベンチマーク表で、遅延と併記されている指標。値が高いほど良い形で示されています。
• BFCL-v3: ツール呼び出し(Function Calling)の正確さを測るベンチマーク。今回のモデルは平均56.1%と記載されています。

引用元:

• [1] NVIDIA-NemotronLabs-VoiceChat-11B モデルカード(Hugging Face)
• [2] Nemotron AI Models(NVIDIA Developer)
• [3] NVIDIA-NeMo/Speech(GitHub)

この記事について: AI 支援で執筆、編集部が事実確認・編集しています。誤りや追加情報があれば Contact よりお知らせください。