OPDとは LLM事後学習の知識蒸留が注目される理由

LLMの事後学習で、従来の知識蒸留に代わる候補として「OPD（On-Policy Distillation、オンポリシー蒸留）」が急速に広がっています。

2026年4〜6月には、NVIDIAのNemotron 3 Ultra、DeepSeek-V4、Cursor開発元AnysphereのComposer 2.5など、主要モデルがOPD採用を公表しました。日経クロステックの調査では、論文プラットフォームalphaXivとHugging FaceのDaily Papersで双方にランクインした28本のうち4本がOPD関連でした（参考）。

この記事では、OPDが何を解決する技術か、どう動くのか、なぜ各社が採用しているのかを整理します。

この記事でわかること

• OPDの仕組みと、従来の知識蒸留・強化学習との違い
• exposure bias（露出バイアス）という課題の正体
• DeepSeek-V4やNVIDIAが採用するマルチ教師OPDの考え方
• OPDを成功させるための条件と注意点

従来の知識蒸留は「教師の軌道」でしか学べない

知識蒸留（Knowledge Distillation、KD）は、大規模な教師モデルの振る舞いを小さな生徒モデルに移す手法です。教師が生成した回答や推論過程を固定データとして学習させるのが一般的で、教師の次トークン分布（logit）に合わせる方式もあります。

問題は、学習時と推論時でモデルが見る状態がずれる点です。学習では教師が通った軌道の上で教師の判断を真似しますが、推論では生徒自身がトークンを1つずつ生成します。途中で誤った分岐に入ると、教師が教えてくれない未知の状態に入り込み、誤りが連鎖します。これをexposure bias（露出バイアス）と呼び、模倣学習の分野では古くから知られた課題です。

Thinking Machines Labの解説では、オフポリシー蒸留を「初心者がグランドマスターの棋譜を見る」に例えています。手は強い一方、初心者が実戦で陥る盤面とは一致しません（参考）。

一方、強化学習（RL）やGRPOのような手法は、生徒自身の出力を評価するため状態のずれは起きにくいです。ただし報酬は最終的な正解・不正解など、結果に偏ったスカラー信号になりがちです。長い推論チェーンでは「どのステップで間違えたか」が伝わりにくく、学習効率が落ちます。

OPDは「生徒の軌道」で教師がトークン単位で指導する

OPDは、この2つの弱点を同時に狙います。生徒モデルが自分の方針で文章を生成し、その軌道上の各トークンについて教師モデルが評価・指導します。学習時の状態分布と推論時の状態分布を揃えつつ、トークンごとの密なフィードバックを与える設計です。

verlの公式ドキュメントは、OPDを次のように定義しています。プロンプトに対し生徒がロールアウト（一連の生成）を行い、各位置で教師の次トークン確率と生徒の分布の差を最小化する（参考）。

数学的には、生徒の方針π_θでサンプルした系列yについて、各トークン位置で教師νとのダイバージェンス（多くはReverse KL）を最小化します。Reverse KLは「教師の振る舞いに寄せる」方向に働き、モードカバー（複数の曖昧な答えに確率を広げる）より、教師の判断を明確に追従しやすい性質があります。

Thinking Machines Labは、OPDを「チェスで各手をリアルタイム採点するコーチ」に例え、オンポリシーRLの状態整合性と、蒸留の密な報酬を両立する手法と位置づけています。同社の実験では、数学推論や社内文書を扱うアシスタントの事後学習で、フロンティア級の高コストRLに匹敵する性能を、より低コストで得られたと報告しています。

DeepSeek-V4は10以上の専門モデルをOPDで1つに統合

OPDが産業界で注目される背景には、大規模モデルの事後学習パイプラインそのものが変わりつつある事情があります。

DeepSeek-V4の技術報告によると、事後学習は2段階で進みます。第1段階で数学・コーディング・エージェント・指示追従など10以上のドメインごとに専門モデルをSFTとGRPOで個別に鍛えます。第2段階で、これら複数の教師モデルから1つの統合モデルへOPDをかけます。DeepSeek-V3.2で使っていたMixed RL（複数目的の強化学習を混ぜる方式）は廃止し、マルチ教師OPDに置き換えました。

ここでの「オンポリシー」が効くのは、統合後の生徒が実際に生成する軌道上で、各分野の教師がlogitレベルで指導するからです。数学の問題では数学教師の信号が、コード問題ではコーディング教師の信号が重み付けで適用されます。verlではこの設計をMulti-Teacher OPD（MOPD）と呼び、ドメインごとにルーティングキーで教師を切り替えます。

DeepSeek-V4は語彙10万超のフルボキャブラリlogit蒸留を採用し、教師の最終隠れ状態だけをキャッシュして学習時にlogitを再構成するなど、計算コストの高さに正面から取り組んでいます。規模の大きい統合モデルでもOPDを実用ラインまで落とし込んだ事例として、業界の参考になっています。

NVIDIAやQwen3もOPDを事後学習の中核に据える

NVIDIAのNemotron 3 Ultraは、10以上のドメイン特化教師を生徒に反復蒸留するIterative MOPDを採用しています。Nemotron-Cascade 2も、カスケードRLとマルチドメインOPDを組み合わせた事後学習を公表しています（参考）。

AlibabaのQwen3は、オフポリシー蒸留の後にオンポリシー蒸留へ移行するレシピを技術報告で示しました。XiaomiのMiMo-V2-Flash、ZhipuのGLM-5も同様にOPDを中核に据えています。GitHubの調査リスト「awesome-on-policy-distillation」では、2026年時点でOPDはAlibaba、DeepSeek、Xiaomi、Zhipu、NVIDIAなどの標準的な事後学習プリミティブと整理されています（参考）。

CursorのComposer 2.5は、Kimi K2.5をベースに、ヒント付き自己教師OPDのKL項をRLに加える方式をブログで説明しています。ツール呼び出しや文体といった特定行動を、ターゲットを絞った蒸留で補強する応用例です。

研究コミュニティでも論文が急増している

日経クロステックの集計では、2026年5月に高評価を集めた論文のうちOPD関連は4本ありました。alphaXivの「likes」上位では、浙江大学・美団の「Self-Distilled Agentic Reinforcement Learning」が289件、中国科学技術大学の「Flow-OPD」が77件など、エージェント強化学習や画像・動画生成へのOPD拡張も並んでいます（参考）。

Tencentの研究者らが2026年4月に公開したサーベイ論文「A Survey of On-Policy Distillation for Large Language Models」は、OPDをフィードバック信号・教師アクセス・損失粒度の3軸で整理し、LLM向けOPDの包括的レビューとして位置づけています（参考）。

実装面では、verlやNVIDIA NeMo-RL、Hugging Face TRLのDistillationTrainerなど、OPDを組み込んだ学習フレームワークが整備されつつあります。研究から実装、大規模モデルへの適用まで一気通貫で動きが出ている領域です。

賢い教師でも失敗する条件がある

OPDは万能ではありません。2026年4月の論文「Rethinking On-Policy Distillation」は、成功と失敗を分ける条件を2つ特定しました（参考）。

1つ目は思考パターンの一貫性です。生徒と教師が推論の進め方を共有していないと、次トークンの候補集合（Overlap Ratio）が重ならず、蒸留信号が弱くなります。2つ目は、教師が生徒にとって本当に新しい能力を持つことです。同じデータで訓練された同系統の大小モデル同士では、ベンチマークスコアが高くても転移できる知識が乏しく、OPDの効果が出にくいと報告されています。

対策として、教師のロールアウトで生徒を事前に微調整するオフポリシー・コールドスタートや、教師の事後学習データに近いプロンプトを混ぜる手法が提案されています。OPDを導入する際は、教師選定とプロンプト設計が性能を左右します。

計算コストとのトレードオフ

OPDの利点は密な指導と状態整合性ですが、コストも無視できません。生徒の生成を常時回し、教師のlogitを各トークン位置で計算するため、オフポリシーKDより計算量が増えます。DeepSeek-V4のように複数教師を同時に扱う場合は、メモリとスケジューリングの工夫が必須です。

一方、教師のlogprob取得は1回のフォワードパスで済み、報酬モデルを別途学習する必要がない点は利点です。Thinking Machines Labは、RLのような高コストなロールアウト完了待ちが不要で、部分的な生成でも学習できるため、トータルコストを抑えやすいと指摘しています。

用途によっては、GRPOで粗く能力を伸ばした後にOPDで仕上げる、あるいはOPDとタスク報酬を併用するハイブリッドも研究されています。verlでもuse_task_rewardsフラグで、蒸留損失とPPO損失を組み合わせる設定が用意されています。

LLM事後学習の標準部品になりつつある

OPDは、固定データへの模倣と、疎な報酬による強化学習の間を埋める第三の選択肢として定着しつつあります。生徒が実際に踏む軌道上で教師がトークン単位で修正するという発想は、DAggerなど模倣学習の古典的知見をLLMの自己回帰生成に持ち込んだものです。

2026年上半期の採用例は、単なる小規模モデル圧縮にとどまりません。DeepSeek-V4のドメイン統合、NVIDIAの反復MOPD、Composer 2.5の行動特化蒸留など、フロンティアモデルの事後学習そのものがOPD前提で設計され始めています。LLMの学習パイプラインや推論性能の話題を追うなら、今後もOPDは欠かせないキーワードになるでしょう。