LLMの推論速度を左右する要素はいくつかあるが、長文脈サービングで見落とされがちなのが「Top-K選択」という処理だ。NVIDIAの研究チームは2026年4月、このボトルネックを平均1.88倍高速化する新アルゴリズム「Guess-Verify-Refine（GVR）」をarXivで発表した。

この記事でわかること：

  • スパース注意機構でTop-K選択がボトルネックになる仕組み
  • GVRが時間的相関を利用してTop-K選択を高速化する方法
  • Blackwell / TensorRT-LLM環境での実際のベンチマーク結果
  • DeepSeek Sparse AttentionとGVRの関係

Top-K選択がボトルネックになる理由

https://arxiv.org/abs/2604.22312

スパース注意機構（Sparse Attention）は、LLMの推論時にすべてのKVキャッシュエントリを参照するのではなく、重要度の高いK個だけを選んで計算する手法だ。長文脈を扱う場合に計算コストとメモリ消費を大幅に削減できる。

問題は、この「Top-K選択」自体にコストがかかる点だ。デコードのたびにクエリトークンに対して重要なKVエントリをK個選ぶ処理が走り、インデクサーとアテンションカーネルがすでに高度に最適化されていても、Top-K選択ステージがレイテンシの足を引っ張る。特に100Kトークンを超える長文脈サービングで、この傾向が顕著になる。

GVRの仕組み — 推測・検証・精緻化の3ステップ

GVR（Guess-Verify-Refine）は、連続するデコードステップ間に「時間的相関」が存在するという観察に基づいている。隣り合うデコードステップでは注目すべきKVエントリがほぼ変わらない。前のステップのTop-K結果が次のステップの良い初期推測になる、という性質を活用する。

アルゴリズムの処理は3段階に分かれる。まず前ステップのTop-K結果を初期推測（Guess）として使い、事前インデックス済みの統計を計算する。次に割線法（secant法）に似たカウント処理を1〜2回のグローバルパスで行い、有効な閾値に絞り込む。最後に候補をShared Memory上で検証（Verify）し、Bit-exactな正確なTop-K選択を完成させる（Refine）。

重要なのは「近似」ではなく「Bit-exact」な正確な結果を保証している点だ。従来のradix-selectカーネルと数値的に同一の出力を維持しながら、処理速度だけを改善している。この設計は、DeepSeek Sparse Attention（DSA）のインデクサースコアが持つToeplitz構造やRoPE（Rotary Position Embedding）との整合性によって成立する。

Blackwellでのベンチマーク結果

論文ではDeepSeek-V3.2の実ワークロードを用い、TensorRT-LLMに統合してBlackwell GPU上で検証している。

  • 単一オペレーター平均速度: 1.88倍（従来のradix-selectカーネル比）
  • レイヤー・ステップあたりの最大速度: 2.42倍
  • 100KトークンコンテキストでのTPOT改善: 最大7.52%
  • 長文脈ほどゲインが大きく、Speculative Decoding環境でも正の改善を確認

TPOT（Time Per Output Token）はトークン1個を出力するのにかかる時間を指す。7.52%の改善は数値上は小さく見えるが、長文脈サービングでは推論レイテンシが積み重なるため、エンドユーザーが体感できる速度改善につながる。

DeepSeek Sparse AttentionとBlackwellとの関係

NVIDIAはBlackwellアーキテクチャを使ったDeepSeekモデルの推論最適化を積極的に進めている。DeepSeek-V3.2のスパース注意機構（DSA）はデコード時のKVキャッシュアクセスを削減し、長文脈サービングのコストを抑える設計だ。GVRはこのDSAのインデクサースコアが時間的に安定するという性質を利用しており、両者の相性が特に良い。

GVRはTensorRT-LLMのDSAスタックにすでに組み込まれており、Blackwellを使う環境ではこの最適化が利用できる。

同じ原理を他のモデルへ広げる可能性

GVRはDeepSeek-V3.2とBlackwellの組み合わせで検証されているが、論文では「デコードフェーズのTop-K選択に時間的安定性があるスパース注意デコーダー全般に同じ原理が適用できる可能性がある」と述べている。DeepSeek以外のスパース注意モデルへの展開も今後期待される。

NVIDIAがハードウェアの世代交代に頼らず、ソフトウェアの最適化で推論効率を引き上げるアプローチを採用していることは、既存のBlackwell環境を持つ事業者にとって直接的な恩恵を意味する。