真正提升数学推理的是什么：超越纯代码的结构化推理信号

arXiv:2605.19762v1 Announce Type: new 摘要：代码已成为现代基础语言模型（LM）训练的标准组成部分，但其在编程之外的作用仍不明确。我们通过在一个10T词元的细粒度领域分离语料库上进行受控预训练实验，重新审视了代码提升推理能力的说法。我们的发现有三点。第一，当代码被限制为独立可执行程序，并控制代码-自然语言（Code-NL）数据时，代码主要提升编程能力，但并非通用的推理增强器；相反，它会与知识密集型任务（尤其是复杂数学推理）产生竞争。第二，通常归因于代码的推理提升，实际上更应归因于跨领域的结构化推理轨迹（如代码-文本和数学-文本混合），而非单纯的可执行代码。第三，在固定数学预算内增加结构化数学样本的密度，能在大幅提升困难数学推理能力的同时，较好地保持编程性能，这表明认知脚手架为缓解跨领域权衡提供了一种有针对性的方法。最后，路由分析显示，数据组成效应反映在专家激活模式中，为跨领域的竞争与协同交互提供了机制层面的证据。我们的研究结果厘清了哪些数据特征能跨能力维度迁移，并指出了更精确的数据中心优化策略。