标签
Osprey引入了一种针对推测解码中草稿模型的目标无关预训练方法，通过从现成模型中引导并适应最少的特定目标工作来提高效率，在多个大语言模型上实现了显著的接受率提升。
周五，我们发布了六个用于加速推理的最新先进草稿模型，同时发布了一篇关于推测解码的博文，以及一个用于估算加速比的山脊线模型工具。