SKIP:一种基于自我知识引导的逐步偏好学习框架,用于简洁推理

arXiv cs.AI 论文

摘要

SKIP是一个基于自我知识引导的逐步偏好学习框架,通过使用DPO引导高效推理,改善大型语言模型中的推理压缩,减轻性能下降并减少过度思考。

arXiv:2609.17019v1 公告类型:新 摘要:虽然链式思维(CoT)推理已被证明有效,但它常导致过度思考,造成计算开销、推理延迟,甚至在大型语言模型(LLMs)中性能下降。现有的简洁推理框架在压缩输出长度时显著牺牲准确性。本文提出SKIP,一个基于自我知识引导的逐步偏好学习框架。从轻量级微调开始以调整模型的输出风格,SKIP引入一个精心设计的知识探测机制,引导模型在每个推理步骤输出答案。基于中间步骤的正确性,我们构建偏好数据,通过利用DPO引导模型向更高效和正确的推理发展。实验结果表明,我们的方法在微调后有效改善推理压缩并减轻性能下降。此外,SKIP在分布外数据集上表现出强大的泛化能力。我们还对框架的组件参数进行了消融研究。
查看原文
查看缓存全文

缓存时间: 2026/09/16 09:06

# SKIP:一种用于简洁推理的自知识引导逐步偏好学习框架
来源:https://arxiv.org/html/2609.17019  
林钦宏a, 张宇浩a, 冯颖伦a, 杨忠良b,a,\*, 周琳娜b,a,\*
**单位**:  
a 北京邮电大学网络空间安全学院,北京,中国  
b 泉城实验室,济南,中国  
**单位邮箱**:\{greenred99, yangzl, zhoulinna\}@bupt.edu.cn  

###### 摘要  
虽然思维链推理已被证明有效,但它常导致过度思考,从而在大语言模型中产生额外的计算开销、推理延迟甚至性能下降。现有的简洁推理框架在压缩输出长度时,往往显著牺牲了准确性。本文提出了SKIP,一种自知识引导的逐步偏好学习框架。SKIP从轻量级微调开始以调整模型的输出风格,并引入精心设计的知识探测机制,引导模型在每个推理步骤输出答案。基于中间步骤的正确性,我们利用DPO构建偏好数据,引导模型进行更高效、正确的推理。实验结果表明,我们的方法在有效提升推理压缩的同时,减轻了微调后的性能下降。此外,SKIP在分布外数据集上展现出强大的泛化能力。我们还对框架的组成参数进行了消融研究。

###### 索引词  
简洁推理, LLM, DPO, CoT

## I 引言  
思维链推理显著增强了大语言模型的推理能力,提升了其在复杂数学推理等任务上的表现。这一进展为LLMs和智能体作为强大助手参与人类决策带来了巨大希望。尽管有这些优势,对CoT机制的深入研究揭示了LLMs倾向于进行过度思考。这一倾向不仅带来额外的计算开销和推理延迟,还会在模型能够自信地直接回答问题时损害性能。  
**图1:** 推理过程中逐步探测准确率分析。箱索引表示相对于完整推理过程的各个阶段。在GSM8K和Math数据集上,推理呈现正收益,而在MedQA上则呈现负收益。  
参考文献在多项任务上的对比实验表明,CoT带来的增益与问题类型相关。经验研究进一步表明,LLMs倾向于冗长的回答,这表明它们缺乏内在约束来避免冗余或鼓励简洁推理。因此,各种研究被提出,专注于在不损害模型性能的情况下压缩推理长度。  
现有研究大致可分为两个方向:一是推理时干预,试图在模型推理过程中添加控制机制,如预算约束或内部状态探测;二是模型能力激发。该方向的工作旨在通过数据构建和训练目标鼓励简洁推理。训练方法通过精细的数据构建和训练,赋予模型简化推理的能力,使其更灵活且不引入额外的推理延迟,并且这种能力可以在不同数据集间迁移。然而,以往的工作主要关注使用由上下文工程指导或从更强大模型采样而来的数据来训练模型。这种剧烈的风格转变可能导致长度压缩的同时严重损害性能。  
本研究也聚焦于后者方向,旨在压缩推理链,并试图解决三个核心问题:  
Q1:如何高效构建数据以激发模型简洁压缩推理的能力?  
Q2:如何在压缩过程中防止推理准确率下降?  
Q3:这种能力能否泛化到分布外数据集?  
**图2:** 自知识引导逐步偏好学习框架。我们使用简单而高效的探测来检测模型是否能回答问题。然后,我们使用偏好数据训练模型,教它们学会在特定点退出。  

为解决这些问题,我们提出利用模型自身的知识来构建高效的学习数据集,以促进推理压缩。我们的动机源于一个关键观察:当模型被迫解码答案时(例如遇到信号‘答案是’),它可能在某些情况下生成正确的响应。如图2所示,当在推理第一步插入‘答案是’并强迫模型生成答案时,它因尚未获得必要的推理要素而未能提供正确答案。当在第二步插入‘答案是’时则不同,模型只需执行简单计算就能得出正确答案。如果没有这种强制干预,模型倾向于继续产生冗余的推理步骤,从而增加token预算。  
当前推理路径中确实存在冗余步骤的现象,表明模型缺乏在推理过程中识别是否已获取足够知识的能力,因此无法在适当阶段终止推理过程。如图1所示,我们分析了Llama3.1-8B-instruct和Llama3.2-3B-instruct在GSM8K、MATH和MedQA上的逐步探测准确率。在推理基准测试中,正确回答的可能性与CoT长度呈正相关,尽管在最后阶段收益递减。与此形成鲜明对比的是,MedQA上的实验结果呈现负面趋势,随着推理进行准确率下降,因为模型缺乏足够的领域知识。这些发现凸显了具备能够动态识别推理充分性以确定最佳提前退出边界的自知识探测机制的必要性。  

本文提出自知识引导逐步偏好学习框架。总体而言,它是一个SFT-DPO两阶段训练框架。我们首先设计一个简单而高效的探测来识别冷启动后的模型推理状态,并构建不依赖外部知识的LLM推理压缩数据。然后我们精心混合采样的对比数据,通过偏好学习引导模型,在不降低推理性能的情况下压缩推理路径。在分布内和分布外数据集上的实验表明,该方法不仅有效缩短了推理长度,还提升了LLM的推理能力。我们的主要贡献如下:  
- • 提出了一种无模型推理边界探测机制,高效判断模型是否已具备输出正确答案的能力。  
- • 提出了一种平衡知识偏好与长度偏好的数据构建方案,可用于训练模型在直接偏好优化训练下提高推理长度压缩能力,同时减轻性能下降。  
- • 在不同任务和模型上进行的广泛实验证明了SKIP的鲁棒性。此外,我们对训练数据进行了消融研究,以分离和分析其对模型性能的具体影响。  
我们的数据/代码可在https://github.com/linqinhong/SKIP获取。  

## II 相关工作  
**思维链推理:** 思维链推理已被证明是实现类人认知和解决复杂任务的变革性范式,例如OpenAI o1、Gemini-3.0-Pro和DeepSeek-R1等推理中心模型的成功。在模型训练中,CoT与最佳N选择和蒙特卡洛树搜索等技术及其变体思维树相结合,系统地探索分布空间并采样高质量合成数据。此外,强化学习从基于结果的奖励到基于过程的奖励的范式转变,凸显了逐步推理如何促进更深层次的认知,将模型应用推向更专业、更复杂的领域。  
**简洁推理:** 简洁推理旨在缓解高昂的计算开销和“过度思考”问题。一种主要方法涉及推理时干预以管理计算预算。例如,软控制方法将预算约束注入提示,引导模型走向更短的推理路径。相比之下,硬控制策略则使用探测器根据内部状态预测给定任务是否需要显式推理。另一系列工作专注于在模型本身内诱导更简洁的推理风格。例如,FS-BoN利用少样本示例展示简洁性,而C3OT利用专有API蒸馏和压缩推理步骤。这些方法通常涉及微调模型,将其固有的推理轨迹转向简洁性。其他研究如在强化学习框架内设计长度约束的奖励函数,以惩罚过度冗长。基于这些见解,我们的工作利用内部状态探测来促进高质量训练数据的构建。我们引入了一种明确机制来识别知识充足状态,使模型能够在内部信息已足够时策略性地跳过冗余的推理轨迹。  

## III 方法论  
如图2所示,SKIP框架包含三个阶段。首先,我们利用少量具有简洁推理的答案,通过监督微调训练模型学习更简洁的响应风格。接下来,我们采用逐步知识探测机制,确定模型是否已获得足够知识以产生正确答案,并利用此评估指导基于偏好的数据构建。最后,我们应用掩码DPO训练将此能力注入模型。  

### III-A SFT冷启动  
未对齐的模型常常产生格式不一致的答案。为解决此问题,我们首先进行SFT冷启动训练,目标有两个:(i)鼓励模型输出最终总结答案,并在推理步骤末尾出现“答案是”时终止不必要的推理;(ii)引导模型采用更简洁的响应风格,为后续DPO训练奠定更好基础。具体而言,我们从N=8对以“答案是”格式结尾的问题-答案对作为少样本条件开始,采用上下文学习引出模型生成相同风格的额外对。我们根据正确性过滤数据,然后通过SFT微调模型以内化这种推理风格。实践中,我们发现这种方法有效实现了预期目标,但也揭示了效率与推理能力之间的权衡:虽然推理路径被压缩,模型的推理性能可能略有下降。  

### III-B 自知识引导的偏好数据  
**推理边界探测:** 经过监督微调后,模型更倾向于在“答案是”信号后输出最终答案。有效减少模型推理长度同时最小化性能下降的关键在于模型能否识别生成的推理路径何时完成。为此,我们采用简单有效的探测,在模型的采样空间内引导模型。具体来说,在推理过程中,我们使用探测引导模型基于其现有推理解码并输出答案。因此,对于问题Q,我们采样候选Y=\{y_{0},y_{1},...y_{i}\}。每个候选可表述为:  
y_{i}=M(Q,t_{0},t_{1},...,t_{i-1},\boxed{probe})  
其中i表示时间步,t表示token。贪心解码作为模型显式推理能力的可靠代理。我们将贪心解码的答案近似为模型内部状态的表示。然后我们评估y_{i}的正确性,以确定模型是否已获得足够的推理要素(为避免混淆,所有由探测引导的答案均通过贪心解码生成)。因此,在此设置下产生正确答案表明模型已获得稳定的回答能力。  
技术上,允许在任何位置插入探测。然而,考虑到句子是模型推理链的最小有效单元,我们仅在每个句子后插入探测。因此,模型的输入格式可表示为:“Q\n[Step 1]\n[Step 2]\n...\n[Step i]\n\boxed{probe}”。探测可以是任何提示模型输出答案的短语。我们使用‘答案是’以与冷启动模板对齐,确保输出质量。尽管当先前的推理步骤在逻辑上已足够时,模型几乎总是能产生正确答案,但重要的是要注意,在早期步骤解码正确答案的能力并不能保证后续推理步骤保持正确。这可能是因为模型在某些情况下已在内部表示中隐式完成推理,当生成额外显式步骤时可能引入不稳定性或导致逻辑错误累积。请参见附录C。  

**逐步偏好:** 本阶段的目标有两个:(i)尽可能保持模型的推理能力,(ii)通过偏好学习将简洁推理风格注入模型。为达成这些目标,我们采用直接偏好优化。首先,我们使用“答案是”作为探测构建步骤级偏好对。对于每个推理步骤,我们记录插入探测后的响应,该响应可视为模型推理的“短”版本。如果此响应正确,我们将其标记为正例;否则标记为负例。同时,我们将完整推理路径视为“长”版本。具体而言,给定一个包含k个推理步骤的问题,我们创建k个偏好对。每个偏好对由一个提示(包含截至当前步骤的推理)和两个响应(短版本和长版本)组成。如果短版本正确,则将其置于偏好对的首位;否则置于次位。这种策略平衡了模型的知识偏好(倾向于正确答案)和长度偏好(倾向于更短路径)。在训练中,我们应用掩码DPO,仅在探测插入点计算损失,以确保模型学会在适当步骤退出,同时保持其他部分推理完整。通过这种方式,模型学习在知识充足时提前退出,从而压缩推理路径而不损害整体性能。

相似文章

CiPO:通过迭代偏好优化实现大型推理模型的反事实遗忘

arXiv cs.CL

CiPO是一种新颖的机器遗忘框架,用于大型推理模型,它利用迭代偏好优化和反事实推理轨迹,在保持推理能力的同时选择性移除不想要的知识。该方法通过生成逻辑上有效的替代推理路径,解决了依赖于链式思维推理的模型中的遗忘挑战。

ThoughtFold: 通过内省偏好学习折叠推理链

arXiv cs.AI

ThoughtFold 提出了一种利用内省偏好学习的框架,旨在减少大型推理模型在思维链推理中的冗余探索,在 DeepSeek-R1-Distill-Qwen-7B 上实现了约 56% 的令牌减少,且准确率无损。

及时止损!学习早期剪枝路径以实现高效并行推理

Hugging Face Daily Papers

本文介绍了STOP(用于剪枝的超令牌),一种轻量级方法,通过在并行解码中附加可学习令牌并读取KV缓存状态,学会早期剪枝不优的推理路径,在AIME和GPQA基准测试中实现70%的令牌减少,同时提高性能。

早期剪枝学习!高效并行推理的路径剪枝方法

arXiv cs.CL

本文提出了 STOP(SuperTOken for Pruning),一个系统框架,用于在大型推理模型的并行推理中早期剪枝低效推理路径。该方法在 1.5B 到 20B 参数的模型中实现了优异的效率和效果,在固定计算预算下将 GPT-OSS-20B 在 AIME25 上的准确率从 84% 提升到 90%。