#Speculative Decoding

テクノロジー

DFlashで122B推論が1000tok/s超 品質劣化なし

推論のボトルネックは、計算よりも重みの読み込みにあります。 …

テクノロジー

LLM推論を3倍速くするSpeculative Decodingの仕組み

LLMの応答が遅い。その原因のほとんどは、モデルの賢さではな…