大语言模型强化学习中的思维泄漏

Hugging Face Daily Papers 论文
reinforcement-learning reasoning interpretability llm chain-of-thought qwen3 grpo

摘要

该论文提出了“思考泄漏”的概念，表明当 Qwen3 模型（1.7B–8B）在 NO-THINK 模式下接受强化学习（RL）训练时，它们会越来越多地回归原有的 THINK 模式行为，而非获得真正全新的推理技能。对权重、激活值和注意力头的干预表明，对一个 8 维思考子空间进行修补会消除强化学习所带来准确率增益的 75%，这说明强化学习在很大程度上复用了已有的推理能力。

Qwen3 系列等混合推理模型通过少量聊天模板标记在 THINK 模式与 NO-THINK 模式之间切换。一种流行的训练方案在 NO-THINK 模式下使用强化学习训练此类模型，并报告其推理性能有所提升。我们提供的证据表明，这种提升在很大程度上可以用思考泄漏来解释：提升主要源于部分重新激活了原始模型在 THINK 模式下的推理能力，而非学会了更强的推理行为。我们在 NO-THINK 模式下使用 GRPO 训练 Qwen3-1.7B、4B 和 8B。随着准确率提高，回答变得更长、更具反思性，原始模型也越来越倾向于判定这些回答类似于它自身的思考，同时模型的内部激活向其 THINK 模式偏移。随后，我们从权重、激活和注意力头三个层面展开研究：增大强化学习更新的幅度会进一步引出 THINK 模式的行为，使准确率接近但不超过 THINK 模式的水平；在 Qwen3-8B 中，将经过强化学习训练的模型中一个与 THINK 相关的低维激活子空间替换为原始模型中的对应值，会消除大部分强化学习带来的提升，而反向交换则会将相当一部分提升转移给原始模型；强化学习引发的偏移则通过读取空思考块的注意力头传递。我们还在 GRPO 训练信号中发现了一种可能的机制：优势加权更新所偏好的回答更接近 THINK 模式，而根据这一信号计算出的梯度更新步会推动模型向其 THINK 状态移动。因此，NO-THINK 模式下的性能提升在很大程度上可能反映的是原始模型已有推理能力的重新激活。
查看原文
查看缓存全文

缓存时间: 2026/10/15 14:58

论文页面 - 大语言模型强化学习中的思考泄漏

来源：https://huggingface.co/papers/2610.14270 大家好\！我是作者 👋

强化学习究竟是在教会大语言模型新的推理技能，还是仅仅释放它们已有的能力？在我们的论文《大语言模型强化学习中的思考泄漏》中，我们研究了在 NO\-THINK 模式下通过强化学习训练的 Qwen3 模型\（1\.7B–8B\）\。

🔍 主要发现：

思考泄漏：强化学习使 NO\-THINK 模型的行为越来越接近其原有的 THINK 模式\。因果证据：通过对权重、激活值和注意力头进行干预，我们表明，强化学习带来的大部分性能提升源于思考泄漏\。放大强化学习的更新幅度可以恢复 THINK 模式的行为，对一个 8 维思考子空间进行修补会消除 75% 的准确率增益，而关键注意力头则介导了向 THINK 模式的转变\。发生原因：GRPO 自然倾向于更接近 THINK 模式的回答\。

我们的结果表明，强化学习带来的改进可能在很大程度上体现了对现有推理能力的复用，而非学会了全新的推理能力\。

期待听到大家的想法\！🚀

相似文章

LEMUR：基于视觉锚定推理重定向的潜在熵感知多模态遗忘

arXiv cs.LG

本文揭示了经过强化学习训练的多模态大型推理模型中的一个隐私漏洞：即使在最终答案中成功消除了敏感事实，模型仍可能在推理轨迹中重现这些事实。为此，本文提出LEMUR，一个无需训练、推理时运行的框架，利用熵动态来检测并抑制此类泄露。

思考惯性：即使被告知不要思考，LLM仍在持续思考

Hugging Face Daily Papers

该论文提出"思考惯性"（Thinking Inertia）现象：即使明确指示LLM不要思考，模型仍会持续进行显式推理，且在开放式问题中更严重。作者提出三个衡量"不思考"行为的指标，并在六个模型和多种任务上评估，指出停止推理无法仅靠设置或指令保证。

超越推理：强化学习释放大型语言模型中的参数化知识

arXiv cs.CL

本文探讨了强化学习能否在推理任务之外，进一步提升大型语言模型（LLM）对参数化知识的直接回忆能力。研究表明，通过二元奖励进行强化学习，可以通过重新分配概率质量来激活潜在知识，而非习得新事实，从而在事实性问答基准测试中取得显著提升。