论文页面 - 思考惯性：LLMs 被要求停止思考时仍在思考

来源：https://huggingface.co/papers/2610.11765

摘要

大型语言模型（LLMs）日益配备显式的“思考模式“，然而与其对应的“不思考“行为却鲜有人关注。我们从两个维度研究 LLM 的不思考行为。

a. 如何衡量不思考？ 先前的工作通常通过代理指标来定义不思考，例如禁用思考模式或缺少长思维链。但这些代理指标并不可靠：禁用的思考模式仍可能输出推理过程，而较长的思维链也可能只是填充内容而非真正的推理。我们改为将每个回答规范化为“答案前轨迹“和“最终答案“两部分，并从三个层面进行评估：(i) 空思考率（Empty-Thinking Rate），用于严格衡量仅回答问题的合规程度；(ii) 感知指令的答案前相关性（Question-Pre-answer Relevance），用于评估问题与答案前轨迹之间的相似度；(iii) 以 LLM 作为评判者的显式推理率（Explicit Inference Rate），用于衡量可见的显式推理。这些指标共同区分了仅回答输出、相关但非推理性的文本和显式推理。

b. 不思考行为在不同任务和模型间如何变化？ 我们在六种提示干预方案下，对六个 LLM 在布尔题、选择题和开放式问题上进行了评估。我们发现，显式的“不思考“控制无法可靠地消除可见的推理过程。模型反而表现出“思考惯性“（Thinking Inertia）：即使在严格控制下，显式推理依然持续存在，并且随着答案空间的开放而愈发普遍。在布尔题和选择题任务上，准确率保持稳定，而在开放式任务上则揭示了仅回答合规性与任务准确率之间的权衡。将同一问题改写为不同的答案空间后发现，提供候选答案使得仅回答式的响应更容易产生。这些发现确立了“不思考“是一项不可忽视的能力：停止显式推理不能仅凭模型设置或指令来保证，值得与推理能力一起进行系统性评估。

查看 arXiv 页面　查看 PDF　项目页面　GitHub　添加到合集

在你的 Agent 中获取这篇论文：

hf papers read 2610.11765

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

没有模型关联该论文。

在模型的 README.md 中引用 arxiv.org/abs/2610.11765 即可从此页面链接该论文。

引用该论文的数据集 0

没有数据集关联该论文。

在数据集的 README.md 中引用 arxiv.org/abs/2610.11765 即可从此页面链接该论文。

引用该论文的 Spaces 0

没有 Space 关联该论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.11765 即可从此页面链接该论文。

收录该论文的合集 0

没有合集收录该论文。

将该论文添加到合集即可从此页面链接它。