广泛探索,锐利推理:通过采样将小模型推向前沿
摘要
论文提出 Parallel Power Tempering(PPT)——一种推理时采样方法,它通过在不同的锐化程度下运行多条并行退火链,解决了功率锐化 LLM 采样中的探索-利用权衡问题,其效果优于基于强化学习的后训练,并接近前沿模型的推理性能。
查看缓存全文
缓存时间: 2026/10/02 08:27
论文页面 - 广泛探索,精准推理:通过采样将小模型推向前沿
Source: https://huggingface.co/papers/2609.38104
摘要
幂锐化采样(Power-sharpened sampling)是一种推理时的替代方案,可替代强化学习(RL)后训练来增强大语言模型(LLM)的推理能力。在基础模型上放大概率较高的序列,无需更新参数或使用外部奖励,从而避免了 RL 昂贵的优化过程和不稳定的泛化表现。然而,这种方法面临一个根本性的探索-利用权衡:强锐化会限制探索,使采样器陷入看似合理但实际错误的推理轨迹;而弱锐化则会让答案分布过于弥散。为了解决这一权衡,我们提出了并行幂回火(Parallel Power Tempering, PPT),通过并行回火(parallel tempering)来实现幂锐化 LLM 采样。在不同锐化程度上并行运行多个相互作用的副本,使得低幂副本能够探索多样的推理轨迹,而高幂链则能进一步利用锐化目标所偏好的高似然响应。具体而言,我们针对推理时采样进行了专门设计,减轻了先前幂采样器中发现的截断偏差(truncation bias),并研究了在有限内存和计算预算下的有效交换(swap)策略。大量实验表明,该方法显著改进了单链幂锐化采样,性能超过了 RL 后训练模型,产生了质量更高的推理轨迹,甚至达到了与前沿模型相当的性能水平。
查看 arXiv 页面 (https://arxiv.org/abs/2609.38104)查看 PDF (https://arxiv.org/pdf/2609.38104)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.38104)
在你的 agent 中获取这篇论文:
hf papers read 2609\.38104
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型0
暂无模型关联本文
在模型 README.md 中引用 arxiv.org/abs/2609.38104 即可将本文链接到此页面。
引用本文的数据集0
暂无数据集关联本文
在数据集 README.md 中引用 arxiv.org/abs/2609.38104 即可将本文链接到此页面。
引用本文的 Spaces0
暂无 Space 关联本文
在 Space README.md 中引用 arxiv.org/abs/2609.38104 即可将本文链接到此页面。
包含本文的收藏集0
暂无收藏集包含本文
将本文添加到收藏集 (https://huggingface.co/new-collection)即可将本文链接到此页面。
相似文章
在困难处采样:通过熵引导的幂采样增强基础模型推理
本文提出熵引导幂采样(EGPS),一种无需训练和验证器的采样方法,提高了幂采样在增强基础语言模型推理中的效率。与标准Metropolis-Hastings采样相比,EGPS在MATH500、HumanEval和GPQA等基准测试上达到最佳或并列最佳准确率,同时实现高达12.6倍的加速。
**后训练中的锐化税**
本文提出 **Sharpening Tax(锐化税)** 这一指标,用于量化大语言模型在 RL 后训练中 pass@1 提升但解空间覆盖度(pass@K)下降的现象;并提出 **后验退火组采样(Posterior-Tempered Group Sampling, PTGS)**——一种即插即用的贝叶斯采样器,能按提示词自适应调整温度,在提升单次生成准确率的同时降低这项税负。
@dair_ai: 来自 Meta Superintelligence Labs 的重磅论文。他们发现了一个非常有趣且出乎意料的现象。(收藏起来)基础模型……
Meta Superintelligence Labs 发现,RL 后训练会收窄 LLM 智能体的解题覆盖范围(即「锐化税」):在采样次数充足时,轻量框架下的基础模型能解决更多不同的智能体任务,而后训练模型在 pass@1 上表现更优。作者提出 PTGS——一种自适应温度的 RL 方法,在降低这一税负的同时还提升了 pass@1。
PARALLEL:一种受前额叶对齐强化启发的语言模型学习范式,在显式约束下进行自适应
本文介绍了PARALLEL,一种受前额叶对齐强化启发、用于语言模型学习的方法。该方法决定对每个样本进行适配的时机和强度,使用独立的控制器信号来提高适配效率,同时保持高性能。
自我改进往往是突发的:大规模模型的Enlightenment式微调
本文介绍了Enlightenment,一种针对大规模模型的无需训练的后调整方法,它修改关键模块中的快捷连接而不更新权重,实现了突发的能力提升。通过注意力头混合和标量调制的残差连接,该方法在LLMs和VLMs上展示了有效性。