标签
FACT 是一个实验性框架,用于研究草稿模型训练、候选分配和执行条件如何共同影响推测解码的接受率与延迟。研究表明,置信度引导的分配可将 HumanEval 上的加速比从 1.46× 提升至 2.02×,而主机线程设置可能在不改变接受率的情况下,几乎完全抵消加速收益。