标签
AdaptiveSpec是一种无训练的每步推测解码方法，它自适应调整令牌验证和草稿树形状以提升LLM推理吞吐量，在基准测试中提高性能高达56%的同时保持高准确性。
本文分析了推测解码中的有损验证方案，将其分为基于截断的验证和协作验证两类，并指出了保持生成质量的陷阱和原则。