#SGLang

テクノロジー

LLM推論のGPU効率が2倍に　分散アーキテクチャの仕組みと実例

LLM推論のインフラコストを、GPUを追加せずに削減する手法…