#Speculative Decoding

テクノロジー

LLM推論を3倍速くするSpeculative Decodingの仕組み

LLMの応答が遅い。その原因のほとんどは、モデルの賢さではな…