ReasonOps: 面向LLM推理轨迹的算子分割

# ReasonOps：面向 LLM 思维链轨迹的算子分割

来源：https://arxiv.org/html/2605.29192

\\DeclareCaptionType prompt\[Prompt\]\[List of Prompts\]\\NAT@set@cites

Daniel Lee 斯坦福大学 leedan@stanford\.edu & Owen Queen 斯坦福大学 oqueen@stanford\.edu & James Zou 斯坦福大学 jamesz@stanford\.edu

###### 摘要

大型推理模型的思维链轨迹可能长达数万个 token，但我们仍缺乏描述其内部结构的词汇。现有用于分析思维链轨迹的方法要么过于僵化，要么表达能力不足，无法捕捉跨领域和跨模型的特征。为解决这一问题，我们提出了 ReasonOps，一种无监督、表达力强的思维链轨迹标注方法，能提供简洁的通用算子。利用 ReasonOps，我们分析了来自 6 个系列 12 个思考型 LLM 在 8 个推理基准上的 44,662 条轨迹，发现它们共享一个共同的组合结构：7 个反复出现的推理算子——句子开头的 3-token 触发词通过无监督聚类涌现出的语篇级别动作，如回溯、推断和假设。这些算子出现在每个模型系列和基准领域，并由三个独立的 LLM 裁判在以 70–76% 的准确率对保留样本进行分类时得到确认（随机概率为 14%）。我们分析了易/难问题上算子的结构差异，发现反思性算子对难题更有帮助，但对简单题反而有害。推理轨迹具有很强的模型标识性：结构算子特征加上锚定短语文本特征可以恢复源模型，macro-AUC=0.987，揭示了每个模型系列都有独特的推理指纹。结构算子特征在预测问题内答案正确性方面远高于基线。基于这些算子构建的分类器在全局达到 WP-AUC=0.701，在 AIME 上达到 0.801。ReasonOps 还支持在轨迹完成前进行早期质量估计：仅使用 50% 的轨迹，我们就能在 WP-AUC=0.664 下进行预测。ReasonOps 流程完全无监督且无需标注，为 LLM 推理轨迹的深入洞察以及模型识别和正确性预测的强下游结果提供了可能。

## 1 引言

具备推理能力的大型语言模型越来越多地通过生成长中间轨迹再输出最终答案来解决难题。随着前沿模型大多经过后训练以在给出最终答案之前引发扩展思维链推理，LLM 已几乎等同于"大型推理模型"。提示方法、多路径解码、过程监督和基于强化学习的后训练都提升了数学、科学和编程基准的性能，但也使推理轨迹变得更长、更昂贵且更难以分析。与此同时，对 LLM 决策过程进行监控和监管的需求日益增长。

自思维链提示问世以来，推理轨迹一直被假设为窥探 LLM 问题解决能力的窗口。推理轨迹作为一种无需访问模型权重即可获取的黑盒理解 LLM 的宝贵材料，已被证明包含丰富信息，然而我们仍缺乏统一的词汇来跨模型、跨领域和跨数据集地描述推理轨迹。尽管已有一些方法尝试为推理轨迹提供系统化的标注，但这些方法往往依赖先验词汇和句法结构，过度拟合当前模型或领域。

在本文中，我们提出：能否将多样化的轨迹压缩成一小套跨模型家族、任务和领域共享的推理算子词汇，同时保留关于成功与失败的预测信息？

**我们的贡献。** 我们引入 ReasonOps，一个从可见思维链轨迹中归纳紧凑推理算子词汇的无监督框架。我们使用句子开头的 3-token 触发词、频率过滤和基于 e5-small 的语义聚类。我们证明得到的 7 个算子在数量上是有意义的：它们跨越 6 个系列的 12 个思考型 LLM 和 8 个基准，并由三个独立的 LLM 裁判确认（分类准确率 70–76%，随机概率 14%）。结构算子特征加上锚定短语文本特征可以识别源模型，macro-AUC=0.987，揭示了模型系列的推理指纹。我们证明算子特征在预测问题内正确性方面优于所有无跨度基线和 LLM 自评。仅训练一次完整序列的 OST（算子序列 transformer）能够从任意深度的部分轨迹进行正确性估计，超越了按深度重新训练的 Op-XGB 上界。我们开源代码库作为社区资源。¹¹代码：https://github.com/lee-dan/ReasonOps

![图 1](refer to caption)  
图 1：（左）从 AIME、GPQA 和 LiveCodeBench 中提取的代表性算子单元。（右）从 R1-Distill-LLaMA-70B 在 MATH 数据集上提取的代表性推理轨迹。

## 2 相关工作

**推理轨迹的标注与分析。** Deepseek-R1 的创建者注意到"Wait"短语是与推理能力提升相关的涌现行为。这以及思维链轨迹的可解释性激发了标注和描述推理轨迹的工作。然而，以往工作主要依赖先验的推理词汇，或操作于任意的句法特征（如句子），或依赖于特定领域的词汇。ReasonOps 是一种无监督方法，不假定任何先验句法特征或固定标注词汇。其他工作包含针对特定假设分析推理轨迹的临时方法。

**监控与可扩展监督。** 可扩展监督社区广泛探索了描述 LLM 行为的方式，思维链监控已被探索为一个突出方向。这些工作与 ReasonOps 在推理轨迹刻画方面是侧面的。一些工作也表明思维链可能无法忠实反映模型行为，但近期工作尝试在前沿模型中改进这一点。我们的工作处于互补位置：我们将可见轨迹视为有行为意义的产物，并询问它们是否允许一种稳定、免标注的中尺度抽象。

**正确性预测。** 已有一些早期正确性预测方法被提出，包括纯 LLM 方法和机械可解释性技术。与此类似的是过程奖励模型和结果奖励模型的工作，包括测试时缩放中的验证器。这类工作在数学问题中尤其丰富。其他工作探索了用于自验证的测试时缩放技术，包括 SelfCheck 等。

## 3 方法

现在我们描述如何构建一个无监督机制，从 12 个 LLM 的推理轨迹中推断算子。我们的流程由语言学原则驱动，不需要任何算子词汇的先验定义。

**数据收集。** 我们从 12 个思考型语言模型（涵盖 6 个系列）在 8 个基准上收集推理轨迹：MATH-500、GPQA Diamond、AIME 2024、LiveCodeBench、HumanEval、MMLU-Pro、ARC-Challenge 和 BIG-Bench Hard。所有模型均使用 65,536 token 上下文预算进行查询。原始思维链 token 通过 OpenRouter API 收集，Claude 除外（直接通过 Anthropic API 并启用扩展思维）。模型细节见附录 A。去除截断和格式错误的轨迹后，我们保留 44,662 条轨迹（每个模型约 3,720 条）。

**基于触发词的跨度分割。** 每条轨迹被分割成跨度。一个跨度从触发句开始：任何其前三个字母 token（句子开头）在语料库中出现足够频繁以至于被视为语篇信号的句子。形式上，pivot(s) = (w₁, w₂, w₃)，其中 w_i 是句子 s 开头的有序小写字母 token。当且仅当 (1) 出现在 ≥100 条不同轨迹中（频率过滤），(2) 出现在 ≥3 个不同数据集的轨迹中（领域多样性过滤），(3) 三个 token w_i 都属于最频繁的 2000 个语料 token（词汇表过滤），该语篇触发词 p 才被包含。这些阈值在特异性和一般性之间取得平衡。频率阈值 100 条轨迹是为了排除仅出现在少数轨迹中的独特短语，同时保留常见语篇动作；将其降低到 50 会增加许多非语篇功能的领域特定短语。领域多样性过滤（3 个数据集）确保任何接受的触发词跨越多种任务类型，防止数据集特定短语进入词汇表。前 2000 词汇表过滤确保触发词由常见英语功能词组成，而非领域特定内容 token（例如化学公式、编程关键词）；我们验证了在 1500 到 3000 之间变化不会定性改变聚类结果。

**语义触发词嵌入与聚类。** 我们使用 intfloat/e5-small-v2 句子编码器对所有语篇触发词进行嵌入。句子级嵌入捕捉完整短语含义，正确分离共享共同前缀的触发词，如"let me think"和"let me verify"。我们使用 K-means 对触发词嵌入进行聚类（K∈{6,...,11}，30 次重启），通过最大化与独立 LLM 裁判在保留跨度上的 Cohen's κ 来选择 K。我们使用 Claude Sonnet 4.6 作为裁判选择 K；K=7 最大化 κ=0.693（附录 C）。

**独立于正确性。** 算子发现流程不使用任何正确性标签：触发词通过频率和领域多样性过滤，嵌入仅基于触发词文本，聚类分配通过最近邻质心查找。正确性标签仅在后续预测步骤（§6）中引入，其中 Op-XGB 和 OST 在标准监督 5 折 CV 协议中进行训练。因此，算子本身是完全无监督的中间表示。

**计算成本。** 发现流程轻量级。触发词提取（对所有句子开头进行频率计数）在单个 CPU 核心上处理 44,662 条轨迹不到 3 分钟。使用 e5-small-v2 嵌入 5,464 个接受的触发词需要 6 秒；在 5,464 个点上运行 K-means 需要 12 秒。标注一条新轨迹只需要每个跨度进行一次字典查找（推理时无需嵌入），每条轨迹增加 <1ms。整个语料库的端到端算子发现不到 5 分钟，标注整个 44K 轨迹语料库不到 2 分钟。

## 4 推理算子

表 1：7 个发现的推理算子。代表性触发词是每个聚类中最频繁的 3-元组。

七个算子从无监督聚类中涌现（表 1；图 1）。它们覆盖了扩展推理中语篇动作的空间：目标设定、事实锚定、推断、探索、模糊、自我纠正和约束指定。作为一个更粗略的分类，算子可被分为承诺型算子（启动、推断、约束、基础化）和反思型算子（暂停、自我纠正、核对）。