论文页面 - ECHO：超越辅助式多 Token 预测的高效因果自递归

来源：https://huggingface.co/papers/2610.24766

摘要

ECHO 通过自递归和动态深度采样将多步长预测融入骨干网络，在不引入辅助模块的情况下提升了预训练效率和推理草稿速度。

现有的多 Token 预测（MTP）方法本质上是辅助式的：多步长损失主要训练附加在骨干网络上的模块，每增加一个步长就需要额外的模块和一次前向计算。我们提出了高效因果自递归（ECHO），同时消除了这两项开销。骨干网络自身的最终层负责预测所有步长，使得监督信号直接作用于生成下一个 Token 的参数；动态深度采样（DDS）则以沿深度方向递减的概率采样训练深度，使得更深步长的训练成本可控。由此，未来预测成为自回归目标的内生组成部分，而非外挂任务，从而在预训练和推理两端都带来了收益。在预训练中，增加的深度转化为下游任务精度的提升——尤其在辅助模块已趋于饱和的推理和代码任务上，其训练开销仅为训练所有深度的 MTP 的一半。在推理阶段，预训练模型本身就是草稿生成器：它可以外推至训练时未曾覆盖的深度进行草稿预测，并在开放式、高熵的生成场景中保持草稿-目标对齐——而后置式草稿模型在此类场景中往往失去对齐。这一优势在 Token 预算翻倍、预训练重复运行以及有监督微调后依然成立。

查看 arXiv 页面 · 查看 PDF · GitHub · 加入收藏

引用本文的模型 0

暂无关联此论文的模型。

在模型的 README.md 中引用 arxiv.org/abs/2610.24766，即可在此页面建立关联。

引用本文的数据集 0

暂无关联此论文的数据集。

在数据集的 README.md 中引用 arxiv.org/abs/2610.24766，即可在此页面建立关联。

引用本文的 Spaces 0

暂无关联此论文的 Space。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.24766，即可在此页面建立关联。

包含本文的合集 0

暂无包含此论文的合集。

将本文加入合集，即可在此页面建立关联。