#EAGLE

テクノロジー

LLM推論を最大8倍速くする Speculative Decodingの仕組み

LLMの応答が1トークンずつしか出てこない——そのボトルネッ…