揭示过度完备推理轨迹中最小核心的表征几何

arXiv cs.AI 论文
reasoning-traces chain-of-thought representation-geometry minimal-cores overcompleteness llm-interpretability

摘要

本文介绍了过度完备推理轨迹中'最小核心'的概念，表明平均可移除46%的步骤同时保留最终答案，并且最小核心改善了轨迹分离并降低了内在维度。

arXiv:2605.14358v1 公告类型: 新 摘要: 语言模型通常生成较长的思维链轨迹，但目前尚不清楚这些推理中有多少对于保留最终预测是必要的。我们通过过度完备的推理轨迹的视角来研究这一问题：生成的轨迹包含比支持模型答案所需更多的中间步骤。我们将最小核心定义为保留最终答案或预测分布的最小步骤子集，并引入了压缩比、冗余质量、步骤必要性和必要性集中度等指标。在涵盖算术、竞赛数学、专家科学推理和常识多跳问答的六个深思推理基准上，我们发现显著的过度完备性：平均而言，在贪婪最小核心提取下，46%的步骤可被移除，同时在86%的案例中保留了原始答案。我们还发现预测支持是集中的：平均而言，前三步占据了65%的测量必要性质量。除了压缩之外，最小核心揭示了更清晰的推理几何：与完整轨迹相比，它们将正确-错误轨迹分离提高了11个百分点，将估计的内在维度降低了34%，并且以85%的非对角答案保留率跨模型族转移。理论上，我们建立了最小充分子集的存在性、贪婪消除的局部不可约性保证，以及过度完备性和稀疏必要性的证明。这些结果表明，完整的推理轨迹通常冗长且过度完备，而最小核心则分离了语言模型预测背后的有效支持。
查看原文
查看缓存全文

缓存时间: 2026/05/15 06:23 

# 揭示过度完备推理轨迹中最小核心的表征几何
来源：https://arxiv.org/abs/2605.14358
查看PDF（https://arxiv.org/pdf/2605.14358）

> 摘要：语言模型通常生成长链思维轨迹，但目前尚不清楚这些推理中有多少是保持最终预测所必需的。我们通过过度完备推理轨迹的视角来研究这一问题：生成轨迹包含的中间步骤数量超过支持模型答案所需的最小值。我们将最小核心定义为能保持最终答案或预测分布的最小子步骤集合，并引入压缩比、冗余质量、步骤必要性和必要性集中度等指标。在涵盖算术、竞赛数学、专家科学推理和常识多跳问答的六个审慎推理基准上，我们发现显著的过度完备性：在贪心最小核心提取下，平均46%的步骤可被移除，同时86%的情况下原始答案得以保持。我们还发现预测支撑高度集中：平均而言，前三个步骤占测量必要性质量的65%。除了压缩效果，最小核心还揭示了更清晰的推理几何结构：与完整轨迹相比，它们将正确/错误轨迹的分离度提升了11个百分点，将估计的内在维度降低了34%，并以85%的离对角答案保留率在不同模型族间迁移。理论上，我们证明了最小充分子集的存在性、贪心消除的局部不可还原性保证，以及过度完备性和稀疏必要性的认证。这些结果表明，完整的推理轨迹往往冗余且过度完备，而最小核心则分离出支撑语言模型预测的有效基础。

## 提交历史

作者：Sanjoy Chowdhury \[查看邮件（https://arxiv.org/show-email/dd24d0d4/2605.14358）\] **\[v1\]** 2026年5月14日星期四 04:35:45 UTC（558 KB）

相似文章

重新审视后训练中的完整推理轨迹

Hugging Face Daily Papers

本文发现，在后训练期间，大型语言模型可以从截断的推理轨迹而非完整轨迹中获得推理改进，减少冗余的同时，有利于监督微调和强化学习等方法。

CORE：对比反思实现推理能力的快速提升

Hugging Face Daily Papers

对比反思（CORE）是一种非参数算法，通过比较成功与不成功的推理轨迹，生成简洁、可解释的洞见，从而以比现有方法更少的样本和 rollout 次数，实现语言模型更快、更高效的自我改进。

学习一致性表征：一种拓扑可解释性方法

arXiv cs.LG

本文介绍了一致性（coherence）这一几何约束，受大脑中网格细胞和头朝向细胞的启发。一致性确保特征响应数据流形上的几何连通区域，从而提升可解释性；作者提出了一个可微分的目标函数（Coh），并在合成数据、旋转MNIST和BERT词元嵌入上进行了验证。

基于约束锚定的推理轨迹

arXiv cs.AI

提出CART，一种神经符号框架，将自然语言推理步骤与符号约束断言交织在一起，以在链式思维轨迹中早期检测并纠正多模态LLMs的错误。将雪球率从65%降低到14%，并在多个基准上提高了准确性。