广泛探索,锐利推理:通过采样将小模型推向前沿

Hugging Face Daily Papers 论文

摘要

论文提出 Parallel Power Tempering(PPT)——一种推理时采样方法,它通过在不同的锐化程度下运行多条并行退火链,解决了功率锐化 LLM 采样中的探索-利用权衡问题,其效果优于基于强化学习的后训练,并接近前沿模型的推理性能。

功率锐化采样是一种推理时的替代方案,可在无需参数更新或外部奖励的情况下增强大语言模型(LLMs)的推理能力,从而取代基于强化学习(RL)的后训练方法。在基础模型下,高概率序列被放大,避免了强化学习中代价高昂的优化过程和不稳定的泛化表现。然而,该方法面临一个根本性的探索-利用权衡:较强的锐化会限制探索,使采样器困于看似合理但实则错误的推理轨迹;而较弱的锐化又会导致答案分布过于分散。为解决这一权衡,我们提出 Parallel Power Tempering(PPT),通过并行退火(parallel tempering)来实现功率锐化的 LLM 采样。在不同的锐化程度下并行运行多条相互作用的副本,使得低功率副本能够探索多样的推理轨迹,而高功率链则进一步利用被锐化目标所偏好的高似然响应。具体而言,我们针对推理时采样对 PPT 进行了定制,缓解了先前功率采样器中被识别出的截断偏差,并在有限的内存和计算预算下研究了有效的状态交换策略。大量实验表明,PPT 显著改善了单链功率锐化采样,优于经过 RL 后训练的模型,产生了更高质量的推理轨迹,甚至达到了可与前沿模型媲美的性能。
查看原文
查看缓存全文

缓存时间: 2026/10/02 08:27

论文页面 - 广泛探索,精准推理:通过采样将小模型推向前沿

Source: https://huggingface.co/papers/2609.38104

摘要

幂锐化采样(Power-sharpened sampling)是一种推理时的替代方案,可替代强化学习(RL)后训练来增强大语言模型(LLM)的推理能力。在基础模型上放大概率较高的序列,无需更新参数或使用外部奖励,从而避免了 RL 昂贵的优化过程和不稳定的泛化表现。然而,这种方法面临一个根本性的探索-利用权衡:强锐化会限制探索,使采样器陷入看似合理但实际错误的推理轨迹;而弱锐化则会让答案分布过于弥散。为了解决这一权衡,我们提出了并行幂回火(Parallel Power Tempering, PPT),通过并行回火(parallel tempering)来实现幂锐化 LLM 采样。在不同锐化程度上并行运行多个相互作用的副本,使得低幂副本能够探索多样的推理轨迹,而高幂链则能进一步利用锐化目标所偏好的高似然响应。具体而言,我们针对推理时采样进行了专门设计,减轻了先前幂采样器中发现的截断偏差(truncation bias),并研究了在有限内存和计算预算下的有效交换(swap)策略。大量实验表明,该方法显著改进了单链幂锐化采样,性能超过了 RL 后训练模型,产生了质量更高的推理轨迹,甚至达到了与前沿模型相当的性能水平。

查看 arXiv 页面 (https://arxiv.org/abs/2609.38104)查看 PDF (https://arxiv.org/pdf/2609.38104)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.38104)

在你的 agent 中获取这篇论文:

hf papers read 2609\.38104

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

暂无模型关联本文

在模型 README.md 中引用 arxiv.org/abs/2609.38104 即可将本文链接到此页面。

引用本文的数据集0

暂无数据集关联本文

在数据集 README.md 中引用 arxiv.org/abs/2609.38104 即可将本文链接到此页面。

引用本文的 Spaces0

暂无 Space 关联本文

在 Space README.md 中引用 arxiv.org/abs/2609.38104 即可将本文链接到此页面。

包含本文的收藏集0

暂无收藏集包含本文

将本文添加到收藏集 (https://huggingface.co/new-collection)即可将本文链接到此页面。

相似文章

在困难处采样:通过熵引导的幂采样增强基础模型推理

arXiv cs.LG

本文提出熵引导幂采样(EGPS),一种无需训练和验证器的采样方法,提高了幂采样在增强基础语言模型推理中的效率。与标准Metropolis-Hastings采样相比,EGPS在MATH500、HumanEval和GPQA等基准测试上达到最佳或并列最佳准确率,同时实现高达12.6倍的加速。

**后训练中的锐化税**

Hugging Face Daily Papers

本文提出 **Sharpening Tax(锐化税)** 这一指标,用于量化大语言模型在 RL 后训练中 pass@1 提升但解空间覆盖度(pass@K)下降的现象;并提出 **后验退火组采样(Posterior-Tempered Group Sampling, PTGS)**——一种即插即用的贝叶斯采样器,能按提示词自适应调整温度,在提升单次生成准确率的同时降低这项税负。

@dair_ai: 来自 Meta Superintelligence Labs 的重磅论文。他们发现了一个非常有趣且出乎意料的现象。(收藏起来)基础模型……

X AI KOLs Following

Meta Superintelligence Labs 发现,RL 后训练会收窄 LLM 智能体的解题覆盖范围(即「锐化税」):在采样次数充足时,轻量框架下的基础模型能解决更多不同的智能体任务,而后训练模型在 pass@1 上表现更优。作者提出 PTGS——一种自适应温度的 RL 方法,在降低这一税负的同时还提升了 pass@1。

自我改进往往是突发的:大规模模型的Enlightenment式微调

arXiv cs.LG

本文介绍了Enlightenment,一种针对大规模模型的无需训练的后调整方法,它修改关键模块中的快捷连接而不更新权重,实现了突发的能力提升。通过注意力头混合和标量调制的残差连接,该方法在LLMs和VLMs上展示了有效性。