论文页面 - 无损推测解码究竟能多无损？Orthrus中数值精度的角色

来源: https://huggingface.co/papers/2609.15504

摘要

Orthrus仅在高数值精度下实现无损推测解码，使用BF16精度时会产生轨迹偏离，但这并未影响下游基准测试性能。

Orthrus是一种混合自回归-扩散架构 (https://huggingface.co/papers?q=autoregressive-diffusion%20architecture)，它通过并行生成多个token来加速自回归语言模型的推理过程，同时使用冻结的自回归骨干网络。其核心主张是，通过模型内共识机制 (https://huggingface.co/papers?q=intra-model%20consensus) 实现无损推测解码 (https://huggingface.co/papers?q=speculative%20decoding)，生成与自回归模型完全相同的输出序列。我们独立复现了Orthrus，并在不同数值精度下检验这一主张。在BF16 (https://huggingface.co/papers?q=BF16) 推理条件下，对于作者提供的检查点和我们独立训练的模型，在来自12个领域的1,190个提示中，精确轨迹匹配 (https://huggingface.co/papers?q=trajectory%20matching) 仅发生在45%和43%的情况下。精确匹配的概率也与参考模型的响应条件困惑度 (https://huggingface.co/papers?q=perplexity) 密切相关。尽管存在这种轨迹偏离，Orthrus在下游lm-eval-harness (https://huggingface.co/papers?q=lm-eval-harness) 基准测试中并未表现出系统性性能下降。相比之下，使用FP32 (https://huggingface.co/papers?q=FP32) 重复轨迹评估时，在所有评估的提示上都实现了精确轨迹匹配 (https://huggingface.co/papers?q=trajectory%20matching)。这些结果表明，Orthrus的实际无损性取决于数值精度，精确的轨迹等效性应与下游任务性能分开评估。

查看arXiv页面 (https://arxiv.org/abs/2609.15504) 查看PDF (https://arxiv.org/pdf/2609.15504) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.15504)

通过代理获取此论文：

hf papers read 2609\.15504

没有最新版CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型关联此论文 在模型README.md中引用arxiv.org/abs/2609.15504以从本页面链接。

引用此论文的数据集0

无数据集关联此论文 在数据集README.md中引用arxiv.org/abs/2609.15504以从本页面链接。

引用此论文的Spaces0

无Space关联此论文 在Space README.md中引用arxiv.org/abs/2609.15504以从本页面链接。

包含此论文的收藏夹0

无收藏夹包含此论文 将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从本页面链接。