从噪声轨迹到根因：面向智能体优化的结构化轨迹分析与因果提取

# 从嘈杂轨迹到根因：面向智能体优化的结构化轨迹分析与因果提取  
来源：https://arxiv.org/html/2607.07702  

张颖1 2 †, 徐嘉航2 \*, 冯旋2, 杨晨远2, 程鹏2, 杨宇晴2  

1 中国科学院大学，北京，中国，2 微软研究院。  
通讯作者：[email protected]  

###### 摘要  

长程智能体的优化越来越依赖于基于反思的机制，即大语言模型（LLM）充当优化器来诊断智能体故障并改进智能体策略。然而，真实的执行轨迹难以直接用于优化：大量轨迹集合往往冗余且异构，导致优化效率低下且容易过拟合于低价值故障；同时，每条轨迹也包含许多无关步骤，而简单的上下文缩减方法（如截断或滑动窗口）可能会丢弃因果上重要的证据，产生误导性的优化信号。为了解决这一困境，我们提出 **STRACE**（结构化轨迹分析与因果提取），一个构建高信噪比优化上下文以实现更精确、更有效优化的框架。在批次层面，STRACE 挖掘故障模式以过滤冗余轨迹并保留代表性故障；在每条选定轨迹内部，它通过文本依赖图进行因果定位，移除非因果步骤并识别出优化的真正根因模块。实验结果表明，STRACE 显著优于标准的上下文过滤基线。值得注意的是，在一项具有挑战性的形式化验证任务（VeruSAGE-Bench）上，它成功优化了人类专家设计的智能体，将成功率提高了 1.4 倍（从 42.5% 提升至 58.5%）。代码已公开在 https://github.com/moomight/STRACE。

从嘈杂轨迹到根因：面向智能体优化的结构化轨迹分析与因果提取  

张颖1 2 †, 徐嘉航2 \*, 冯旋2, 杨晨远2, 程鹏2, 杨宇晴2  
1 中国科学院大学，北京，中国，2 微软研究院。  
通讯作者：[email protected]  

††脚注:张颖在微软研究院实习期间完成此项工作。  
**脚注:通讯作者。

## 1 引言

参见图注

图 1：上下文构建策略对比。现有方法难以权衡上下文与噪声：(a) 完整轨迹引入噪声导致虚假相关，而 (b) 短截断无法捕捉长程因果依赖（例如，将步骤 1 与步骤 48 关联）。相比之下，(c) STRACE 执行因果上下文蒸馏，提取紧凑的因果切片，为精确优化提供高信噪比上下文。

人工智能领域正经历从单轮交互向复合智能体系统的范式转变（Zaharia 等人，2024）。这些系统由具备“计算机使用”能力（Anthropic，2024a，b）和自主软件工程能力（Jimenez 等人，2024；Chen 等人，2021；OpenAI，2024b）的推理密集型模型驱动，不再是简单的聊天机器人，而是复杂的运行单元。它们编排复杂的工具使用，管理动态记忆，并执行多步控制流以解决复杂的长期任务（Wang 等人，2024；Xi 等人，2023；Schick 等人，2023）。与此同时，这些系统产生的产物也从简单的对话日志演变为包含推理链、代码执行环境和状态转换的复杂执行轨迹。如何有效利用这些轨迹信息来进一步增强智能体系统已成为一个关键问题。优化此类智能体系统的主流范式是**反思式优化**（Pryzant 等人，2023；Shinn 等人，2023；Yang 等人，2024），它使用 LLM 诊断智能体系统故障，并基于历史反馈（来自智能体轨迹）演化智能体策略。然而，当部署在复杂的长期任务上时，这些框架难以处理生成数据的庞大数量和复杂性。在实际环境中，批量执行轨迹包含异质的故障，具有不同的频率、严重程度和原因（Cemri 等人，2026；Barke 等人，2026）。试图从每一条失败轨迹中优化智能体在计算上难以处理，并且常常导致脆弱、过拟合的更新。因此，需要一种机制来聚合这些异质日志，分离出最常见和后果最严重的故障模式，并将其蒸馏为通用的改进。即使选定了代表性故障，单个轨迹内的优化仍因**上下文-噪声权衡**而具有挑战性（Liu 等人，2023）。现有方法常常不得不在两个不完美的极端之间做出选择（如图 1 所示）。喂入**完整轨迹**（a）会使优化器被无关的成功步骤和低信噪比上下文淹没，引发虚假相关和幻觉性的提示补丁（Yuksekgonul 等人，2024；Shi 等人，2023）。相反，依赖**短截断**（b）将局部邻近性视为因果相关性的信号（Agrawal 等人，2025；Kang 等人，2025），有风险丢弃遥远但因果上必不可少的历史，切断症状与源头之间的联系。这一困境揭示了智能体工作流的一个基本现实：错误显现的节点（下游症状）往往不是其起源的节点（上游根因）（Zhang 等人，2025）。例如，第 50 步的代码解释器崩溃可能是第 5 步规划器生成错误参数的延迟后果。如果没有一种机制能在过滤噪声的同时弥合这个时间差距，优化器往往会修补症状而非根因。

为了解决这些挑战，我们提出 **STRACE**（结构化轨迹分析与因果提取），这是一个优化框架，它将执行日志视为因果图（图 1(c)），而非单一的线性文本。STRACE 通过解耦的流水线系统地解决了这两个挑战。首先，**结构化建模**推断出紧凑的文本依赖图，记录智能体组件之间的数据和控制关系，作为依赖先验。基于这种拓扑结构，**故障模式挖掘与轨迹过滤**通过将每个批次总结为统计和结构诊断，然后使用复发性和严重性信号过滤冗余或低价值的故障，以保留紧凑的轨迹集，从而应对大规模轨迹的异质性。在这些代表性轨迹中，**因果定位**将真正的根因识别为优化目标，并提供优化所需的因果上下文：它向后追溯依赖关系以丢弃无关步骤，提取紧凑的因果切片，并定位故障的逻辑起源而非其表现节点。最后，在**归纳式策略优化**中，STRACE 使用局部化的故障片段来综合泛化的自然语言启发式规则。这些预防性指导原则仅注入到已识别根因模块的指令中，从而实现持续、安全且经济高效的改进，而无需更改底层可执行代码。我们在 HotpotQA（Yang 等人，2018）、WebArena（Zhou 等人，2024）和 VeruSAGE-Bench（Yang 等人，2025）基准上验证了这种能力，在这些基准上，STRACE 显著优于最先进的基线，特别是在严格的 VeruSAGE 基准上，将成功率绝对提高了 16.0%（从 42.5% 提升至 58.5%）。总之，我们的贡献如下：

- • 我们提出了 STRACE，一个端到端的智能体优化框架，将执行日志视为结构化的因果证据，而非单一的线性文本。
- • 我们引入了一种轨迹过滤和因果定位机制，用于选择代表性故障，提取紧凑的因果切片，并将根因模块识别为优化目标。
- • 我们在覆盖多种推理和长程智能体场景的综合基准上评估了 STRACE，显示出相较于完整轨迹、截断和提示优化基线的持续改进。

## 2 相关工作

### 2.1 自动提示优化

自动提示优化（APO）使用 LLM 迭代搜索更优的指令。开创性工作将其表述为基于性能分数的自然语言搜索问题（Zhou 等人，2023；Yang 等人，2024）。为了处理复杂工作流，最近的框架利用反思式反馈（Shinn 等人，2023）或模块化文本梯度（Pryzant 等人，2023；Khattab 等人，2024）来优化多阶段流水线。此外，进化策略已被采用，通过基于种群的变异和环境反馈来增强探索，例如 EvoPrompt（Guo 等人，2025）、GEPA（Agrawal 等人，2025）和 SCOPE（Pei 等人，2025）。然而，一个关键的限制仍然在于**上下文管理**。现有方法通常依赖标量奖励或截断摘要来适配上下文窗口。在长期智能体任务中，这种压缩模糊了深层结构依赖关系，阻碍了对复杂多步故障的诊断。

### 2.2 反思式智能体与框架演化

与 APO 不同，反思式和自演化智能体通过反馈驱动的修订来改进智能体行为，范围从推理时细化（Madaan 等人，2023；Sun 等人，2023）和基于验证器的强化（Jiang 等人，2025；Zhou 等人，2025）到代码和架构层面的演化（Novikov 等人，2025；Sharma，2025；Hu 等人，2025；Zhai 等人，2025）。最近的框架级系统，例如 Hermes Agent Self-Evolution（Nous Research，2026），进一步使用像 GEPA 这样的优化器来演化可编辑的智能体组件。然而，这些方法仍然很大程度上依赖非结构化反馈或轨迹级别的反思来决定修改什么。如果没有结构化的故障定位，它们可能会修复下游症状或更新错误的组件。相比之下，STRACE 在优化之前执行依赖引导的诊断，产生可以转移到技能和其他可调优框架组件的局部化修复信号。

### 2.3 智能体诊断与信用分配

信用分配问题（CAP）从根本上挑战了将结果归因于具体决策的能力（Pignatelli 等人，2024）。在强化学习中，传统上通过时间重分布机制来缓解奖励稀疏性来处理这一问题（Harutyunyan 等人，2019；Arjona-Medina 等人，2019）。在模块化智能体系统中，重点转向了结构信用分配（SCA），近期框架利用最小形式瓶颈惩罚（Cheng 等人，2025）或生成式批评（Xie 等人，2025）来细化推理链。尽管取得了这些进展，但在长程轨迹中建立明确的、基于因果的归因仍是一个开放的挑战。

参见图注

图 2：STRACE 框架图示。该系统通过四个阶段优化长程智能体：(1) 结构化建模，构建执行拓扑；(2) 故障模式挖掘与轨迹过滤，将故障压缩为代表性轨迹；(3) 因果定位，执行因果上下文蒸馏与根因隔离；(4) 归纳式策略优化，将启发式规则注入已识别的根因模块。

## 3 STRACE 框架

### 3.1 系统概述

STRACE 是一个先进的优化框架，旨在最大化长程智能体优化中的上下文信噪比（SNR）。直接将海量轨迹放入智能体优化器的上下文窗口会引入大量噪声，稀释 LLM 的推理信号，并常常使优化陷入局部最优。STRACE 通过双管齐下的方法解决了这个上下文-噪声权衡：首先，它执行轨迹过滤，仅保留高度多样化的代表性轨迹；其次，它执行严格的因果定位，明确剥离非因果噪声。通过将大批次执行压缩为高质量的诊断证据，STRACE 能够在有限的上下文限制内实现精确且稳定的优化。如图 2 所示，STRACE 流程通过四个集成阶段运行。首先，**结构化建模**构建一个文本执行依赖图（EDG），作为后续轨迹过滤的拓扑基础。其次，**故障模式挖掘与轨迹过滤**将海量、异质的轨迹批次压缩为紧凑、多样的代表性示例集合。第三，**因果定位**通过向后切片蒸馏出最小的因果上下文，并隔离真正的根因节点。最后，**归纳式策略优化**将局部化的证据转化为泛化的、持久的提示更新，用于有缺陷的模块。

### 3.2 阶段 1：结构化建模

为了实现结构化分析，STRACE 利用 LLM 读取智能体的源代码实现，并构建一个**文本执行依赖图（EDG）** G = (V, E)，作为后续阶段的结构先验。具体来说，STRACE 解析智能体的代码库，以识别原子功能模块（顶点集 V）。同时，它通过分析这些模块生成、消耗或利用的产物来推断文本边 E，这些产物决定了下游执行路径。