オープンソースLLMの開発は、いま「モデルを鍛える」段階から「エージェントを鍛える」段階へ移りつつあります。かつてQwenチームのテックリードを務めた林君洋（Junyang Lin）氏が、25分の講演「Qwen: Towards a Generalist Model / Agent」で公開した学習パイプラインは、その転換点を具体的な手順として示しています。
この記事では、林氏の講演と公式ブログの内容を整理し、オープンエージェントモデルをどう育てるかを解説します。
この記事でわかること
- Qwenが採用する6段階の学習ループ（pre-trainから派生モデル展開まで）
- chat・VL・Coder・QwQなど派生モデルファミリーの役割分担
- 「推論思考」から「エージェント思考」への業界の転換点
- エージェント向けRLで重視すべき環境設計とインフラ要件
6段階の学習ループが示す開発の型
林氏の講演で紹介された開発フローは、次の6段階で構成されます。
- pre-train — 基盤となる言語モデルを大規模コーパスで学習する
- SFT（Supervised Fine-Tuning） — チャットやタスク遂行に合わせて教師あり微調整する
- RLHF — 人間の嗜好に沿うよう強化学習で整える
- tool use — 関数呼び出しやツール連携能力を付与する
- multi-modal — 画像・音声・動画など複数モダリティへ拡張する
- 派生モデル展開 — chat、VL（Vision-Language）、Coder、Math、QwQ（推論特化）など用途別モデルを展開する
Qwen公式ブログでも、言語モデル構築は「pretrainingとpost-training（SFT・RLHF）」の組み合わせが基本と説明されています。林氏の6段階は、この基本にtool useとマルチモーダル、派生展開を明示的に加えた実務向けのロードマップと読めます。
このループを回し続けた結果、QwenはHugging Faceで最もダウンロード数の多いオープンモデルファミリーに成長しました。South China Morning Postの報道（2026年1月）によれば、累計ダウンロード数は7億回を超え、同年12月の月間ダウンロード数だけでも、MetaやOpenAIなど次の8モデル群の合計を上回ったとされています。Alibaba Cloudの発表では、2026年1月時点で累計10億ダウンロードと20万超の派生モデルも公表されています。
派生モデルファミリーが担う役割
林氏の講演では、Qwenのスタックを「Qwen base + Qwen-VL + Qwen-Coder + QwQ」と整理しています。それぞれが異なる用途を担い、1つの基盤から複数の専門モデルを生み出す構造です。
| モデル | 主な用途 |
|---|---|
| Qwen（ベース） | 汎用チャット・基盤能力 |
| Qwen-VL | 画像・動画の理解と推論 |
| Qwen-Coder | コード生成・ソフトウェア開発支援 |
| QwQ | 段階的推論・難問への長時間思考 |
講演では0.6Bから235Bまでのサイズ展開や、GGUF・GPTQ・AWQ・MLXといった量子化フォーマットがApache 2.0で公開されている点も強調されています。サイズと用途の両軸でモデルを展開する設計が、開発者の採用を後押ししたと考えられます。
tool useを支えるQwen-Agent
第4段階のtool useを実装面で支えるのが、Qwen公式のエージェントフレームワーク「Qwen-Agent」です。
https://github.com/QwenLM/Qwen-Agent
Qwen-Agentは、Qwenの指示追従・ツール利用・計画・メモリ能力を活かしてLLMアプリを構築するためのフレームワークです。関数呼び出し（Function Calling）、MCP（Model Context Protocol）サーバー連携、コードインタープリタ、RAG（検索拡張生成）をサポートしています。QwQ-32BやQwen3シリーズでは、並列・多段・多ターンのツール呼び出しに対応したデモも公開されています。
Qwen公式ドキュメントでは、MCP設定ファイルや組み込みツールを組み合わせてエージェントを定義する手順が示されています。モデル側のtool use能力と、フレームワーク側のオーケストレーションを分離して設計する点が、実務での再利用性を高めています。
「推論思考」から「エージェント思考」へ
林氏は講演の締めくくりで「Training models → training agents（モデルを鍛えるからエージェントを鍛えるへ）」と述べ、この主張をブログ記事「From ‘Reasoning’ Thinking to ‘Agentic’ Thinking」で詳述しています。
https://justinlin610.github.io/blog/from-reasoning-to-agentic-thinking/
2024〜2025年にo1やDeepSeek-R1が示した「推論思考（reasoning thinking）」は、数学・コード・論理など検証可能な領域でRL（強化学習）を回す手法として有効でした。一方、林氏が次の段階と位置づける「エージェント思考（agentic thinking）」は、内部で長く考えることより、環境と対話しながら行動を続けられるかが評価基準になります。
エージェント思考では、次の能力が求められます。
- いつ思考を止めて行動に移すかの判断
- どのツールをどの順序で呼ぶかの選択
- 環境からのノイズの多い観測の取り込み
- 失敗後の計画修正
- 多ターン・多ツール呼び出しにわたる一貫性の維持
最適化の対象もモデル単体から「モデル＋環境（ハーネス）」のシステム全体へ移ります。SFT時代にデータ多様性を重視したのに対し、エージェント時代は環境の品質（安定性・現実性・カバレッジ・報酬ハッキング耐性）が研究の中心になる、と林氏は指摘しています。
Qwen3のハイブリッド思考が教えたこと
林氏の講演とブログでは、Qwen3の「ハイブリッド思考モード」への挑戦と、その後の方針転換が具体的な教訓として語られています。Qwen3はthinkingモードとnon-thinkingモードを1つのファミリーに統合し、4段階のpost-trainingパイプライン（長CoTコールドスタート、推論RL、thinking mode fusionを含む）を試みました。
しかし、instructモデルが求める「簡潔さ・低レイテンシ」と、thinkingモデルが求める「長い内部推論・高い正確性」はデータ分布の面で相反します。統合を急ぐと、両方の品質が中途半端になるリスクがあると林氏は分析しています。その結果、2025年後半の2507ラインではInstruct版とThinking版を別モデルとして提供する方針へ移行しました。
一方、AnthropicのClaude 3.7 Sonnetのように推論と通常応答を統合するアプローチも存在します。林氏の見解では、統合の成否は「1つのチェックポイントに2つの人格を無理に同居させるか、推論の深さを滑らかに制御できるか」で決まるとされています。
エージェント向けRLのインフラ課題
推論RLでは、ロールアウト（試行）が自己完結した軌跡として扱え、評価も比較的明確です。エージェントRLでは、ツールサーバー・ブラウザ・ターミナル・サンドボックスなどのハーネス内で方策が動くため、学習と推論の分離が不可欠になります。
コーディングエージェントが生成コードをテストハーネスで実行する場合、推論側が実行結果を待つ間にGPU利用率が落ち、学習パイプライン全体のスループットが低下します。林氏は、このボトルネックを解消するためのtrain-serve分離が、エージェント時代のインフラ要件だと強調しています。
さらに、ツールアクセスが広がるほど報酬ハッキング（報酬を不正に最大化する行動）のリスクが高まります。検索で答えを直接引く、リポジトリの未来情報を悪用するなど、環境の設計ミスがモデルの能力を過大評価させる恐れがあります。Qwen-AgentWorldのように、CPT（継続事前学習）→SFT→RLの3段階で環境シミュレーションを学習目標に据える研究も、この課題への回答の一つです。
開発者が持ち帰れる視点
林氏の講演が示す6段階ループは、大規模チーム向けの戦略でもありますが、個人開発者にも応用できる考え方を含みます。まず汎用基盤を固め、SFTとRLHFで対話品質を整え、tool useとマルチモーダルを段階的に追加し、最後に用途別モデルへ展開する順序は、リソースを分散させずに能力を積み上げる設計です。
同時に、林氏が繰り返す「モデルからエージェントへ、さらにシステム全体へ」という視点は、モデル選定だけでなく、ツール連携・環境設計・評価基盤まで含めた開発計画を立てる必要性を示しています。オープンエージェントを本気で作るなら、チェックポイントの性能表だけでなく、どの環境でどう行動させるかまで設計に組み込む段階に来ている、と言えます。