标签
来自 LLM工程师年鉴 的屋顶线模型估计了在不同模型和硬件上，不同草稿长度下投机解码的加速效果，并附注指出，当开销显著时，该模型可能低估收益。
周五，我们发布了六个用于加速推理的最新先进草稿模型，同时发布了一篇关于推测解码的博文，以及一个用于估算加速比的山脊线模型工具。