#vLLM

16 件の記事

04
5月 2026
AIモデル

IBM Granite 4.1 8BモデルでMoEを超える理由

8Bのモデルが32BのMoEアーキテクチャと同等の性能を出せ…

03
5月 2026
オープンソース

vllm-studio入門 4大推論エンジンを1画面で管理するOSS

ローカルLLMを本格運用し始めると、モデルの起動・停止、GP…

01
5月 2026
テクノロジー

LLM開発の実践スタック9選 データ加工から推論配信まで

LLMを自社で開発・運用するとき、モデルだけ選べば終わりでは…

01
5月 2026
オープンソース

SMG|GPU稼働率を最大化するRust製LLM推論ゲートウェイ

LLMの推論速度はGPUの性能だけで決まるわけではありません…

01
5月 2026
オープンソース

OneComp v1.1.0でGemma 4対応 LLMを1行で圧縮する方法

LLMをローカルで動かしたいけれど、VRAM不足で諦めた経験…

27
4月 2026
テクノロジー

LLM推論のGPU効率が2倍に 分散アーキテクチャの仕組みと実例

LLM推論のインフラコストを、GPUを追加せずに削減する手法…