音声で指示を出すと、テキスト指示より精度が大きく落ちる。音声AIの実運用で見落とされがちな盲点です。
この記事では、NTU・NUS・CUHKの研究チームが発表したストリーミング音声モデル「Audio-Interaction」の仕組みと、ベンチマーク結果を整理します。
この記事でわかること
- 音声指示で精度が落ちる理由と、既存モデルの限界
- Audio-Interactionが採用する「知覚→判断→応答」ループの動き方
- MMAUやCoVoST2での数値比較と、推論遅延の改善幅
音声指示で精度が半減する盲点
大規模音声言語モデル（LALM）は、音声を入力として感情認識や推論、ツール利用まで担えるようになりました。一方で、多くのモデルは「録音が終わってから一括処理する」オフライン型です。発話が途切れるまで応答を始めないため、咳や話し始めの躊躇といった会話外の音を背景ノイズとして捨てやすくなります。
ストリーミング対話の先行研究であるMoshiでも、非発話イベントの解釈は弱いと論文は指摘しています。さらに深刻なのが、指示の出し方による性能差です。MMAU（音・音楽・音声を横断評価するベンチマーク）では、Qwen2-Audio（7B）はテキスト指示で平均49.20点を取る一方、音声指示では19.41点まで落ちます。約60%のスコア低下です。ユーザーが声で話しかける前提の音声アシスタントでは、この差がそのまま体験の質に直結します。
Audio-Interactionが提案する常時オン型の対話
研究チームは、この課題を「Audio Interaction Model（LAIM）」という新しい枠組みで整理し、3Bパラメータの「Audio-Interaction」として実装しました。ベースモデルはQwen2.5-Omni-3Bです。
モデルは400ミリ秒ごとの音声チャンクを常時処理し、各ステップで「今すぐ応答するか」「黙って聴き続けるか」を判断します。この「知覚→判断→応答」（perceive-decide-respond）ループが常に回り続ける設計です。翻訳・認識・対話といった従来の音声タスクは、すべてこのループの中で指示として統合されます。明示的な指示がなくても、環境音に自律的に割り込む能動的支援にも対応します。
実現のためのフレームワーク「SoundFlow」は、データ構築・学習・推論の3段階を一貫して設計しています。学習データには260万項目・約30.2万時間のストリーミングコーパス「StreamAudio-2M」が使われ、7つの基本能力と28のサブタスクをカバーします。能動的応答の評価には、644件の人間設計イベントからなる「Proactive-Sound-Bench」も新設されています。
ベンチマークで何が変わったか
MMAUの音声指示スコアで、Audio-Interactionは58.15点を記録しました。初期化元のQwen2.5-Omni-3B（42.51点）を大きく上回り、7BクラスのQwen2.5-Omni（49.58点）やBaichuan-Omni-1.5（40.40点）も上回ります。3B規模で7Bモデルに匹敵する水準です。
音声翻訳でも差が出ています。CoVoST2の英→中翻訳（BLEUスコア）では、Audio-Interactionが55.22点。Qwen2.5-Omni 7B（41.40点）やPhi-4-multimodal（46.30点）を上回ります。ストリーミング処理が同時通訳に近い動きを自然に可能にしていると論文は分析しています。
能動的応答のProactive-Sound-Benchでは、Singleティアで61.2%、Multiティアで62.8%の精度を達成しました。オフライン型のLALMが持たない、長時間ストリーム上での介入判断を評価する指標です。
推論遅延を半減するFIFOスケジューリング
リアルタイム対話では、応答の速さも性能の一部です。SoundFlowはエンコードとデコードを非同期に分離するFIFOスケジューリングを採用しています。応答生成中もエンコーダーは音声チャンクの処理を止めず、キューに蓄積します。
この仕組みにより、応答完了後に聴き取りを再開するまでの初回チャンク遅延（FCL）は831ミリ秒から392ミリ秒へ短縮され、処理の詰まり率は5.2%から0%になりました。初回遅延は約2.1倍の改善です。チャンクサイズは0.4秒が採用され、0.2秒では文脈不足でMMAUが49.74点まで落ちる一方、0.6秒以上では遅延が674ミリ秒超に膨らむことがアブレーションで確認されています。
話すか黙るかは1個のアテンションヘッドが担う
モデル内部の解析では、興味深い構造が見つかりました。576個あるアテンションヘッドのうち、Layer 35・Head 14（L35H14）の1個だけが「話す／黙る」の判断を全タスク共通で担っています。このヘッドを無効化すると、音声翻訳のストリーミング制御トークン一致率が0.88低下します。タスクごとに専用回路を持つのではなく、単一パスウェイに意思決定が集約されていることを示しています。
また、0.4秒チャンクはエンコーダー出力では時間的な連続性が低い（連続性比率0.25）ものの、デコーダーの最初の層で0.80まで回復します。チャンク単位の入力でも、デコーダーが文脈をつなぎ直していることが分かります。
モデルの入手と今後の展開
モデルウェイトはHugging Faceで公開済みです。推論・学習コードもGitHubで提供されており、conda環境を構築すれば常時オン型のセッションを試せます。フルデータセットの公開と学習パイプラインの完全公開は「Coming」とされています。
音声UIやAIアシスタントの設計者にとって、この研究が示すのは「音声で指示を出す」という当たり前の操作が、モデル設計の根幹に関わるという点です。オフライン型のまま機能を積み上げても、音声指示の性能差は構造的に残ります。常時処理と意味論的判断を組み込んだ設計が、実運用の盲点を埋める道筋になっています。