论文页面 - 更深并非总是更好：通过置信层解码缓解对齐损失

来源：https://huggingface.co/papers/2606.21906 作者：

,

,

,

,

,

,

,

,

,

摘要

大语言模型中的自回归生成传统上使用最后一层进行 token 预测，但一种新的解码策略基于熵引导的保守反向搜索，动态选择更可靠的中间层，以最小的计算开销提升推理性能。

大语言模型（https://huggingface.co/papers?q=large%20language%20models）（LLMs）中的自回归生成（https://huggingface.co/papers?q=Autoregressive%20generation）通常从最后一层解码，假设更深层的表示能产生更可靠的下一 token 预测（https://huggingface.co/papers?q=next-token%20predictions）。我们重新审视了这一假设，揭示了反复出现的“猜测-修正-扰动”动态（https://huggingface.co/papers?q=Guess-Refine-Perturb%20dynamic）：早期层形成粗略猜测，中间层修正与推理相关的语义，而最后几层则可能将这些修正后的预测扰动为泛化的或对齐偏好的 token。我们引入了置信解码（https://huggingface.co/papers?q=Confident%20Decoding），这是一种无需训练的解码策略，通过基于熵的保守反向搜索（https://huggingface.co/papers?q=entropy-guided%20conservative%20backward%20search）动态选择最可靠的接近最后一层。我们进一步将层选择（https://huggingface.co/papers?q=layer%20selection）形式化为最优停止问题（https://huggingface.co/papers?q=optimal%20stopping%20problem），证明在有界投影噪声（https://huggingface.co/papers?q=projection%20noise）和占主导地位的后期对齐扰动（https://huggingface.co/papers?q=alignment%20perturbation）条件下，我们的搜索规则能过滤扰动，同时将相对于最优修正层的损失控制在有界范围内。在密集型和混合专家 LLMs 上的实验表明，在具有挑战性的推理基准测试（https://huggingface.co/papers?q=reasoning%20benchmarks）中，包括 GPQA-Diamond（https://huggingface.co/papers?q=GPQA-Diamond）、Omni-MATH（https://huggingface.co/papers?q=Omni-MATH）和 HLE（https://huggingface.co/papers?q=HLE），该策略持续取得收益，且零内存开销、延迟增加不到 2%。这些结果表明，动态绕过最后一层的扰动可以释放对齐 LLM 中更强的推理能力。

查看 arXiv 页面（https://arxiv.org/abs/2606.21906）查看 PDF（https://arxiv.org/pdf/2606.21906）项目页面（https://arxiv.org/pdf/2606.21906）GitHub2（https://github.com/QwenLM/Confident-Decoding）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.21906）

在您的 agent 中获取这篇论文：

hf papers read 2606\.21906

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.21906 以从此页面链接。

引用该论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.21906 以从此页面链接。

引用该论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.21906 以从此页面链接。

包含该论文的收藏集0

没有收藏集包含此论文

将此论文添加到一个收藏集（https://huggingface.co/new-collection）中以从此页面链接。