@mosh_levy: 新论文！人们将推理轨迹视为文本，但如果我们能做得更好呢？我们证明我们可以，通过…

新论文！ 人们把推理轨迹当作文本对待，但如果我们能做得更好呢？ 我们证明这是可行的——通过训练行为预测器（BFs），将推理轨迹作为输入，就能以前沿模型几分之一的成本做出更准确的预测。

预测模型行为的常规方法是先解释其计算过程，再基于解释进行推理。 我们跳过了解释步骤，直接将预测视为一个学习问题。

我们训练BFs基于单条轨迹预测行为。 从待预测的目标模型初始化BFs，加上一个小型预测头，端到端训练它们预测未来行为的属性。 只需通过查询目标模型就能获得标注训练数据。

我们将该方法应用于预测两类行为属性： 重跑时是否会给出相同答案（重跑一致性）， 以及输入的哪些部分导致了该答案（反事实敏感性）。

BFs超越了阅读相同轨迹的前沿模型。 它们的成本也低得多：只需一次前向传播即可获得预测，而体积大得多的前沿模型需要在其自身推理轨迹中生成数千个token。

我们还发现，BFs只需少量调优就能泛化到新数据集，甚至能胜任标记模型是否依赖所给提示的任务——这是检验推理是否忠实的一个常见测试。

关键点：推理轨迹携带了超越文本阅读所能传达的未来行为信号。 我们建议将轨迹视为可学习模式的数据，而非待阅读的文本。 该工作是与@yoavgo和@AsaCoopStick合作完成的。 https://arxiv.org/pdf/2606.11445