ConFu：通过未来思考实现更好的推测采样

# ConFu：为更好的推测采样而思考未来
来源：https://arxiv.org/html/2603.08899

###### 摘要

推测解码已成为一种强大的方法，通过采用轻量级草稿模型来加速大语言模型（LLM）推理，该模型提出候选令牌，随后由目标模型验证。这种范式的有效性在很大程度上取决于草稿模型的质量。虽然EAGLE系列等最近的进展实现了最先进的加速，但现有的草稿模型仍受到错误累积的限制：它们仅在当前前缀上进行条件约束，导致其预测在步骤中偏离目标模型。在这项工作中，我们提出ConFu（思考未来），一种新颖的推测解码框架，使草稿模型能够预期生成的未来方向。ConFu引入（i）*思考令牌*和*软提示*，使草稿模型能够以极低的成本利用来自目标模型的未来导向信号，（ii）一种*带MoE的动态思考令牌机制*以实现上下文感知的未来预测，以及（iii）一个包含*锚点令牌采样*和*未来预测复制*的训练框架，用于学习稳健的未来预测。ConFu在Llama-3 3B/8B上相对EAGLE-3改进了8-11%的令牌接受率和生成速度，在Qwen-3 4B上改进约20%。我们认为这项工作是首次将推测解码与连续推理令牌相结合，为加速LLM推理提供了新方向。

机器学习，ICML

## 1 引言

大语言模型（LLM）在广泛的自然语言处理任务中取得了显著的性能，但由于文本生成的自回归性质，其推理仍然成本高昂。每个解码步骤都需要通过完整模型的一次前向传播，导致高延迟和计算成本。为了缓解这个问题，越来越多的工作探索了*推测解码*（Leviathan等，2023；Miao等，2024；Qin等，2024、2025；Li等，2024b、a、2025），这是一种推理范式，采用轻量级*草稿模型*来提出候选令牌，随后由目标模型验证。通过在目标模型的单个验证通道中摊销多个草稿令牌，推测解码可以加速生成而不损害输出质量。

决定推测解码有效性的中心因素是草稿模型的质量。最近的进展导致了一系列具有越来越强预测能力的草稿模型。特别是，EAGLE系列（Li等，2024b、a、2025）代表了推测解码的最新技术。EAGLE-1（Li等，2024b）首次展示了训练单层transformer的有效性，该transformer利用目标模型的隐藏状态来自回归地生成草稿令牌。EAGLE-2（Li等，2024a）引入了上下文感知动态草稿树的新技术。EAGLE-3进一步增强了架构和训练框架，在推测解码速度方面创造了新的基准。在各种基准测试中，EAGLE模型与先前的草稿模型相比始终提供优越的加速（Cai等，2024；Zhang等，2024），并被认可为当前最佳方法。

[图1：未来生成方向预测的目的说明]

尽管取得了这些成功，包括EAGLE系列在内的现有草稿模型都有一个共同的缺点：它们仅通过在当前前缀上进行条件约束来生成草稿令牌。这种设计容易导致错误累积。如图1（a）所示，起初草稿模型的隐藏表示与目标模型的隐藏表示很好地对齐，产生准确的预测。然而，随着解码的进行，小的错误会累积，草稿分布偏离目标分布，令牌接受率下降。这种不对齐会削弱推测解码的潜在效率收益。

在这项工作中，我们主张草稿模型不仅应该专注于预测紧邻的下一个令牌，还应该预期生成的*未来方向*。直观地说，在确定具体令牌选择之前，草稿模型可以从理解目标模型计划在更高层级生成的内容中受益，即目标模型当前的"想法"。如图1（b）所示，如果草稿模型提供了关于目标模型当前"想法"的信息，并被鼓励生成遵循这一方向的令牌，那么它更可能提出与目标模型计划的语义轨迹保持一致的候选令牌。因此，草稿令牌更准确，在验证阶段被拒绝的可能性也就更低。

我们在ConFu（思考未来）中实现了这个想法，这是一个新颖的推测解码框架。ConFu引入了三个关键创新。首先，我们引入*思考令牌*和*软提示*，以鼓励目标模型以最小的额外推理成本公开其中间推理的信号。这些信号随后被提供给草稿模型作为辅助输入，实现更准确和可靠的令牌草稿。其次，我们提出了一种*基于专家混合（MoE）的动态思考令牌机制*，使思考令牌能够适应不同的上下文并实现更大的表达能力。第三，我们开发了一个基于*锚点令牌采样*和*未来预测复制*的训练框架，可以高效且有效地训练模型以学习稳健的未来预测。

在SpecBench（Xia等，2024）上的实验表明，ConFu在令牌接受率和解码速度方面对最先进的推测解码基准EAGLE-3（Li等，2025）有一致的改进。在广泛的下游任务中，包括写作、问答、摘要、翻译、编码和数学推理，ConFu在各种解码条件下实现了实质性的收益。平均而言，ConFu在Llama-3 3B和8B模型上改进了令牌接受率和生成速度8-11%。这些改进在所有任务类别、采样温度和计算预算中都是一致的。

更广泛地说，我们的结果表明推测解码可以通过为草稿模型配备*思考未来*的能力来大幅加强。通过在目标模型预测的语义轨迹上进行条件约束的草稿生成，ConFu产生的草稿令牌与目标分布更加紧密对齐，从而在验证期间减少拒绝率并改进整体吞吐量。从高层来看，EAGLE（Li等，2024b）引入了一种为草稿模型添加目标偏向指导的方法，后续工作致力于缓解训练和推理不匹配（Li等，2025；Zhang等，2024；Hu等，2025）。在这项工作中，我们通过额外使用思考令牌和未来令牌进行条件约束来改进草稿生成，提供了一个新的方向。我们将ConFu视为将推测解码与潜在推理范式相结合的重要一步（Hao等，2024；Cheng和Van Durme，2024；Shen等，2025）。据我们所知，这是首个明确将推测解码与连续潜在"想法"表示相结合的工作，为通过未来感知生成加速LLM推理打开了新方向。

## 2 基础知识

推测解码采用一个小的、快速的*草稿模型*（M_d）来生成一系列候选令牌，随后由大的、强大的*目标模型*（M_t）在单个并行前向传播中验证（Leviathan等，2023；Miao等，2024）。

其标准形式的过程如下：

1. **草稿**：给定提示或先前生成的序列x_{1:n}，草稿模型M_d自回归地生成K个草稿令牌的短序列，\tilde{x}_{n+1},...,\tilde{x}_{n+K}。
2. **验证**：目标模型M_t以组合序列x_{1:n},\tilde{x}_{n+1},...,\tilde{x}_{n+K}作为输入，并执行单个前向传播以计算每个位置的下一令牌的概率分布。
3. **接受/拒绝**：依次检查草稿令牌。对于从1到K的每个位置i，如果草稿令牌\tilde{x}_{n+i}与从目标模型的分布p_t(·|x_{1:n},\tilde{x}_{n+1},...,\tilde{x}_{n+i-1})采样的令牌匹配，则接受该草稿令牌。如果一个令牌被接受，该过程继续到下一个。如果一个令牌被拒绝，它和所有后续的草稿令牌都被丢弃。
4. **纠正**：被拒绝的第一个令牌被替换为从目标模型在该位置的纠正分布中采样的新令牌。最终接受的序列成为下一个草稿步骤的输入。

加速来自于单个验证步骤中接受的令牌数，有效地用一个替换目标模型的多个顺序前向传播。

[图2：ConFu推理管道概述。给定输入令牌，目标模型首先使用提示令牌和思考令牌生成下一个输出令牌以及未来预测向量f。草稿模型随后以f作为额外的未来令牌进行条件约束，自回归地生成草稿令牌。在整个草稿过程中，未来令牌f保持固定，始终附加到输入序列的末尾。]

[图3：ConFu中的思考令牌验证。令t_1,t_2,t_3表示推测树中的草稿令牌。我们在每个草稿令牌之后插入一个思考令牌，以便目标模型可以同时验证草稿候选并生成相应的未来预测。树注意掩码相应调整，以确保正确的验证和未来预测与接受的令牌的对齐。]

为了改进接受率，可以扩展草稿过程以生成候选令牌的*树*而不是单个线性序列（Miao等，2024；Sun等，2023）。草稿模型在每一步提出多个潜在令牌，创建一个草稿令牌树。目标模型随后使用树注意机制并行验证这棵树中的所有路径。与目标模型预测一致的最长路径被接受。这种方法增加了至少一个草稿序列正确的可能性，导致每一步接受的平均令牌数更高。

EAGLE（Li等，2024b、a、2025）是一个高级推测解码框架，通过消除对单独、不对齐的草稿模型的需求来解决低接受率的核心挑战。相反，它将草稿机制直接集成到目标模型本身。

EAGLE的关键创新是使用轻量级草稿头。草稿模型可以被看作是一个单层transformer模型，利用目标模型的隐藏状态。通过利用目标模型的隐藏表示，EAGLE草稿模型为草稿令牌实现了高接受率。由于其轻量级架构，生成草稿令牌的成本远小于运行独立的草稿模型。EAGLE-3通过利用目标模型来自多个层的隐藏状态进一步改进了EAGLE的架构。具体地，EAGLE-3连接来自初始、中间和最终层的目标隐藏状态为h^{M_t,cat}_t ∈ ℝ^{3d}，随后被下投影以获得，h^{M_d}_t = W_{proj}h^{M_t,cat}_t ∈ ℝ^d。草稿模型随后利用隐藏状态h^{M_d}_t来自回归地生成草稿令牌。

## 3 ConFu：方法论

在本节中，我们介绍模型架构设计以及如何训练草稿模型。具体地，第3.1节介绍了ConFu的总体架构以及带有思考令牌的推理框架。然后第3.2节说明了我们如何利用MoE实现动态思考令牌。最后，第3.3节说明了如何训练ConFu。

### 3.1 使用思考令牌捕获未来

未来预测的目标是生成一个连续嵌入，捕捉目标模型当前的"想法"，随后可以指导草稿模型采样更准确的未来令牌。必须满足两个关键要求：（1）未来预测模块必须具有*足够的容量*来近似目标模型的内部推理，（2）它在推理期间应该产生*最小的额外成本*。

关于潜在推理的最近研究表明，LLM可以在后训练后生成连续的"想法令牌"，它们充当中间推理状态（Hao等，2024；Cheng和Van Durme，2024；Shen等，2025）。虽然有效，但生成这样的令牌需要具有目标模型多个前向传播的自回归过程，这是禁止成本高昂的。相反，我们提议利用*思考令牌*，也称为*暂停令牌*（Goyal等，2023）。暂停令牌是一个特殊令牌，附加到输入前缀，导致LLM在生成下一个输出之前进行额外的计算。Goyal等（2023）观察到引入暂停令牌改进了推理准确性，并将这种效果归因于