标签
DoubtLess 提出一种免训练的对比解码方法，用一个更小的推理模型引导大模型输出更简洁的思维链，在七个竞赛数学、研究生科学与编程基准上将 Qwen3-32B 的 CoT 缩短 31% 且准确率不变，优于五个推理时基线。
Apple 研究人员的论文《Decoding Looped Transformers Better for (Almost) Free》表明，通过对比解码（Contrastive Decoding）复用推理时被丢弃的中间状态，可以在零训练成本的前提下将计算消耗降低 47%，同时将数学问题的 pass@1 从 61% 提升到 73%——这标志着大模型发展正从硬件堆叠转向算法层面的精细优化。
论文提出了 LoopCD，这是一个针对循环 Transformer 的免训练对比解码框架，将中间循环状态用作弱/强预测对，带来显著提升（例如 Ouro-2.6B-Thinking 在 AIME 2024 上的 pass@1 从 61.88% 提升至 73.33%），同时使循环次数减半，并将前向计算 FLOPs 降低 22.5% 至 48.2%。
This paper introduces Decoupled Contrastive Decoding (DCD), which uses an expert-aligned lightweight proposer for speculative decoding while keeping the contrastive signal only in verification, achieving speedups over vanilla contrastive decoding without degrading output distribution.
提出了三种注意力引导的大语言模型对比解码层选择策略，在TruthfulQA上相比DoLa基线提高了事实准确性。
介绍了对比弱到强泛化（ConG）框架，该框架利用对比解码从弱模型生成更高质量的样本，以实现更可靠的弱到强泛化，并在多个模型族上展示了一致的改进。
本文介绍了对比解码差异法（CDD），该方法仅通过logits访问即可从LLM中恢复逐字微调数据，无需模型权重或激活。它在多个模型系列中展示了高水平的逐字恢复能力，并揭示了意外数据泄露，例如来自合成训练数据的反复出现的虚构角色'Dr. Elena Rodriguez'。
提出双置信对比解码（DCCD），一种无需训练的检索增强生成方法，通过结合文档级和词元级置信信号处理多文档场景中的上下文内部冲突，并引入事实冲突问答基准DRQA。
该论文将对比解码推广到一种冲突感知范式，该范式在外部上下文和参数先验之间动态分配权威，提出了TriState-Bench评估协议，并引入了自适应机制路由（ARR）来解决修正与抵抗之间的不对称性。
本文提出了 PCNet，这是一种在大型语言模型（LLM）残差流上训练为可计算密度估计器的概率电路，用于将幻觉检测为几何异常。同时，本文还引入了 PC-LDCD，一种仅在生成幻觉 token 时才进行干预的动态修正方法，实现了近乎完美的检测率并降低了错误修正率。