Qwen3.6のGGUF量子化選び VRAM別の最適設定

同じQwen3.6でも、GGUFの量子化を間違えると推論精度が大きく落ちます。VRAMに合わせて量子化を選べば、性能とコストのバランスを取れます。

この記事では、Qwen3.6-35B-A3Bをローカルで動かす際のGGUF選び方を整理します。

この記事でわかること

• Q3量子化を避けるべき理由と、最低ラインの目安
• 24GB VRAM向けのコスパ最適解「IQ4_XS」
• 32GB VRAMで選ぶべき「Q5_K_S」の根拠
• 主要プロバイダー別のファイルサイズと選び方

なぜ量子化選びがQwen3.6で重要か

Qwen3.6-35B-A3Bは、総パラメータ数約350億のMoE（Mixture of Experts）モデルです。1トークンあたり約30億パラメータだけが活性化し、256個のエキスパートから8個がルーティングされます。BF16のままでは約70GB必要で、一般的なGPUには載りません。

GGUFはllama.cpp向けの量子化フォーマットです。ビット数を下げるほどファイルサイズは小さくなりますが、推論時の出力分布が元モデルからずれます。このずれをKLダイバージェンス（KL divergence）やパープレキシティ（PPL）で測り、量子化の品質を比較します。数値が小さいほど元モデルに近い出力です。

Q3は避け、最低でもQ4を選ぶ

3ビット台の量子化は、誤差の急増が確認されています。LocalAIチームのmudler氏が公開したQwen3.6-35B-A3B向けベンチマークでは、UD-Q3_K_M（約16GB）のKL平均は0.0435、PPLは6.883でした（参考）。

一方、UD-Q4_K_M（約21GB）はKL平均0.0138、PPL 6.736です。KL平均だけ見ると、Q3はQ4の約3.2倍の誤差になります。コーディングやエージェント用途では、この差が推論の破綻や幻覚につながります。

ビジネス利用や長文のコード生成では、最低でもQ4クラスを選ぶのが安全です。16GB VRAMしかない場合は、UD-Q3_K_XL（約16.8GB）やAPEX I-Compact（約17GB）など、imatrix（重要度行列）を使った改良量子化を検討します。APEX I-CompactはUD-Q3_K_MよりPPLが低く（6.857 vs 6.883）、HellaSwagも83.5%と上回る結果が出ています（参考）。

24GB VRAMならIQ4_XSがコスパ最適

https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF

RTX 3090やRTX 4090の24GB環境では、UnslothのUD-IQ4_XS（約17.7GB）が有力な選択肢です。IQ4_XSはimatrixベースの4ビット量子化で、従来のQ3より高精度を保ちながらメモリを抑えます。

上記ベンチマークでは、UD-Q4_K_MのPPLが6.736なのに対し、UD-Q3_K_Mは6.883です。IQ4_XSはQ4クラスに近い品質を17GB台で実現し、Q3の誤差急増を回避できます。24GBカードでは、モデル読み込み後にKVキャッシュ（会話履歴を保持するメモリ領域）用の余裕が生まれます。

Unsloth公式ドキュメントでも、35B-A3Bの4ビット量子化は約23GBのメモリが目安とされています（参考）。IQ4_XSならその下限に近い運用が可能です。llama.cppで--cache-type-k q8_0 --cache-type-v q8_0を指定しKVキャッシュを圧縮すれば、さらにコンテキスト長を確保できます。

32GB VRAMならQ5_K_Sで誤差を抑える

mudler/Qwen3.6-35B-A3B-APEX-GGUF · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

VRAM 32GB以上なら、UD-Q5_K_S（約24.9GB）が推奨ラインです。同ベンチマークでUD-Q5_K_SのKL平均は0.0095、UD-Q4_K_Mの0.0138と比べると約31%低くなります。PPLも6.728とBF16基準の6.722にほぼ一致します。

複雑なコーディングやツール呼び出しを伴うエージェント作業では、この誤差差が生産性に直結します。Qwen3.6はSWE-bench Verifiedで73.4%のスコアを記録しており（参考）、量子化で精度を落とすとこの強みが薄れます。

32〜48GBの環境では、UD-Q5_K_XL（約26.6GB）やUD-Q6_K（約29.3GB）も選択肢です。余裕があればQ6_Kでさらに精度を寄せられますが、Q5_K_Sで実用上の品質はほぼ確保できます。

プロバイダーとファイルの選び方

Qwen3.6のGGUFは、主に3系統が流通しています。

Unsloth（Dynamic 2.0） — 実運用データセットでキャリブレーションし、重要レイヤーをアップキャストする方式です。UD-接頭辞付きのファイルが対象で、IQ4_XSやQ4_K_XLが24GB向けの定番です。

mudler APEX — MoE構造に特化した量子化で、エキスパート層とアテンション層に異なる精度を割り当てます。APEX I-Balanced（24GB）はKL最大値4.53と、Q8_0の9.72を下回る結果を出しています。

Bartowski系 — imatrixキャリブレーションの定番プロバイダーで、コミュニティでの流通量が多いです。

Hugging Faceでファイルを選ぶときは、VRAMより1〜3GB大きいシステムメモリ（RAM＋VRAMの合計）があるか確認してください。足りない場合はllama.cppのCPUオフロードで動きますが、トークン生成速度は大幅に落ちます。

動かすときの注意点

Unsloth公式は、CUDA 13.2で低ビット量子化の推論が文字化けする不具合を報告しています（参考）。CUDA 13.1以下か13.3以上を使ってください。

Qwen3.6はデフォルトで262,144トークンのコンテキストを持ちますが、VRAMが足りなければOOM（メモリ不足エラー）になります。128K以上を使う場合は、量子化を一段上げるかKVキャッシュ圧縮を併用してください。

推論エンジンはllama.cpp、LM Studio、Ollama、LocalAIなどが対応しています。Ollamaは手軽ですが、KVキャッシュ量子化の細かい設定はllama.cppの方が自由度が高いです。

VRAM別クイックリファレンス

量子化は「小さいほど速い」ではなく「VRAMに収まる範囲で最も誤差が小さいもの」を選ぶのが正解です。Qwen3.6の性能を引き出すには、Q3を避け、環境に応じてIQ4_XSかQ5_K_Sを基準に選んでください。