标签
AdaptiveSpec是一种无训练的每步推测解码方法，它自适应调整令牌验证和草稿树形状以提升LLM推理吞吐量，在基准测试中提高性能高达56%的同时保持高准确性。
TreeGraft引入了一个用于树基推测解码的多草稿器框架，通过自适应调度优化草稿树质量，以实现比单草稿器方法显著的推理加速。