面向分布偏移下可靠长周期智能体上下文演化的范围验证

# 面向分布偏移下可靠长程智能体上下文演化的局部验证方法
来源: https://arxiv.org/html/2607.09175
\\jmlryear

2026\\jmlrproceedingsPreprintPreprint\\jmlrworkshop

旧金山，加利福尼亚州，美国 \\addr国立台湾大学，台北，台湾\\Name陆路\\Emailluke@redmindresearch\.org \\addrRedMind Research旧金山，加利福尼亚州，美国

###### 摘要

已部署的大语言模型智能体依赖于智能体上下文，即由操作框架组装而成的模型外部文本控制内容。在本研究中，该上下文中可变的部分是一个持久的系统级指令，它会根据运行经验进行更新，而模型、工具和框架保持不变。在长期演化的过程中，随着积累的指令不断增长并相互影响，扁平文本维护使得验证变得越来越困难。我们提出了图正则化智能体上下文演化 (GRACE) 方法，该方法将持久指令组件维护为类型化语义图，并在修改节点附近的局部类型邻域内验证所提议的更新。接受的图更新被重构为对部署时使用的文本指令检查点的增量编辑。我们在一个源自 τ²-bench 的固定电信智能体框架内，在受控的分布偏移协议下评估了 GRACE。在五次独立重复实验中，GRACE 将严格可靠性（由 pass^3 衡量）从 Gemini 2.5 Flash 零样本值的 0.091 提高到最终检查点时的 0.673 ± 0.136。这超过了 Gemini 3.1 Pro 在相同保留集上的零样本参考值 0.242，而扁平文本 HCE 基线最终结果为 0.191 ± 0.051。这些结果确定了可靠长程上下文演化的两个要求：一个使验证局部化的结构基础，以及一个使累积的指令内容保持可用的整合机制。

###### 关键词：

智能体上下文，上下文演化，持久指令，结构验证，可靠性，分布偏移

## 1 引言

随着大语言模型在遵循自然语言指令方面能力的提升，模型外部文本已成为已部署智能体的主要控制界面 (khattab2024dspy; zhang2026ace)。在运行的智能体系统中，每次模型调用前，该文本会与任务输入、工具观察结果和框架提供的信息进行组装 (yao2024taubench; yao2025tau2bench)。我们将由此产生的推理时输入称为智能体上下文。在本研究探讨的场景中，该上下文中的可变部分是一个持久的系统级指令，用于指定智能体的角色、行为约束、流程指导和领域假设 (qin2025sysbench; lee2024align)。当任务分布发生偏移时，该持久指令可能编码关于其应治理环境的过时或不完整的假设。我们研究上下文演化，将其视为在模型、工具和框架保持不变的情况下，根据运行经验修改此持久上下文组件的过程。演化的工件可以是一个剧本 (zhang2026ace)、一个自适应记忆 (suzgun2026dc)、一组战略原则 (wu2025evolver) 或一套结构化指南 (pei2025scope)。在这些形式中，先前的工作已经表明迭代更新可以改善智能体行为 (zhang2026ace; shinn2023reflexion)。

然而，在长时间的演化过程中，先前积累的改进可能会被后续步骤引入的不一致性所削弱。由于持久指令在部署期间始终包含在智能体上下文中，该工件的退化可能会损害操作可靠性和更新效率。全文档重写过程中的上下文崩溃已被记录为智能体上下文工程中的一种失败模式 (zhang2026ace)，此外还有自适应记忆中的无界记忆增长 (suzgun2026dc) 以及提示演化中的指南冲突积累 (pei2025scope)。这些失败指向一个共同的结构局限性。扁平文本维护使得规则、约束和流程之间的关系隐含在文档的线性顺序中，随着工件的增长，验证变得越来越依赖于长上下文处理 (liu2024lost)。先前的工作表明，模型外部指南可以进行迭代改进，但并未直接探究当持久指令在长期演化过程中增长时，验证是否仍然有效。

我们提出了图正则化智能体上下文演化 (GRACE) 方法，该方法维护一个类型化语义图作为演化智能体上下文持久指令组件的中间基础。GRACE 将原子指令单元表示为图节点，将其结构关系编码为类型化有向边，并使用图局部性在受影响节点附近验证每个提议的更新。接受的图更新被重构为对已部署指令检查点的增量文本编辑。本文研究在固定部署接口内的表示基础。智能体模型、工具、框架、诊断程序和评估集保持不变，而表示和验证机制则有所变化。我们在源自 τ²-bench (yao2025tau2bench) 的电信客户服务领域评估 GRACE，使用其带有固定工具接口和评估标准的操作框架。在跨越 10 个演化批次的受控偏移协议下，主要比较使用相同的诊断程序但不同的表示和验证机制的三种条件：GRACE、无结构分析的 GRACE 和 HCE。在重复实验中，GRACE 在后续检查点保持领先，表明启用结构的验证和整合对于持续的上下文演化都很重要。

总之，本文做出了三项贡献。首先，GRACE 引入了一个图正则化的基础，用于演化智能体上下文的持久指令组件，并在每个演化步骤执行范围化的结构验证。其次，评估协议引入了交替的分布偏移，因此同一轨迹既测试了阶段内改进，也测试了跨阶段保持。第三，在电信领域的重复实验表明，GRACE 优于扁平文本上下文演化基线和无结构分析的图消融实验。消融实验分离了两种失败模式。避免矛盾有所帮助，但持续改进还需要整合不断增长的指令基础。

## 2 相关工作

#### 上下文演化与持久控制工件。

优化引导大语言模型行为的文本工件已从提示级别精炼发展到长程上下文演化。提示优化和自我精炼方法，如 OPRO (yang2024opro)、TextGrad (yuksekgonul2024textgrad)、DSPy (khattab2024dspy)、Reflexion (shinn2023reflexion) 和 Self-Refine (madaan2023selfrefine)，展示了有效的短程改进，但它们不会通过重复的批次级更新来维护持久的上下文组件，并且解决的是不同的优化场景。最近的工作将模型外部指南视为一种在多个片段间积累知识的持久工件。ACE (zhang2026ace) 引入了增量增量更新以防止上下文崩溃，SCOPE (pei2025scope) 在双流记忆上应用冲突解决和包含剪枝，而 Dynamic Cheatsheet (suzgun2026dc) 和 ExpeL (zhao2024expel) 随时间积累可复用的指南和经验洞察。这些系统在精神上最为接近，因为它们管理不断增长的模型外部指南，但在工件接口、更新契约和评估协议上有所不同。我们聚焦于一个固定框架内的一个较窄问题，即演化操作符使用的表示基础是否能在持久指令组件增长时维持验证的有效性。

更广泛的智能体演化框架涉及工具、工作流或环境适应 (xi2024agentgym; wang2025gem)。A-Evolve (lin2026aevolve) 将跨片段更新应用于持久工件状态。我们的工作共享了这种跨片段视角，但特别关注智能体上下文内部的持久系统级指令，以及相同演化接口的受控实例化。ProEvolve (hsu2025proevolve) 同样应用类型化图变换，但用于演化基准环境，而 GRACE 则将图结构化编辑应用于持久指令本身。互补地，Meta-Harness (lee2026metaharness) 优化模型周围的框架代码，而我们保持框架固定，仅演化其组装的指令组件。在上述上下文演化方法中，演化的工件通常维护为扁平文本，而关于替代表示基础是否能在长时间跨度内维持验证有效性的问题仍未得到充分探索。

#### 用于大语言模型的结构化知识表示。

图结构已在大语言模型系统中被广泛采用，用于知识组织、记忆和检索。GraphRAG (edge2024graphrag) 构建实体关系图以支持大规模语料库上的查询聚焦摘要，HippoRAG (gutierrez2024hipporag) 构建知识图作为长期记忆以支持联想检索，更广泛的综述描绘了知识图与大语言模型整合的扩展版图 (pan2024kgllm)。这些应用表明，图可以组织大语言模型操作所依赖的知识，但它们作为持久指令内容演化基础的使用仍未得到充分探索。GRACE 通过使用类型化语义图作为上下文演化和结构验证操作的中介表示来填补这一空白。

## 3 问题形式化

我们研究在固定操作框架下的长程智能体上下文演化。设 πθ(a| c) 表示当提供智能体上下文 c 时，由大语言模型、工具和框架诱导的冻结动作选择策略。模型参数、工具接口、框架逻辑和上下文组装过程在整个演化轨迹中保持不变。

在本研究中，智能体上下文中可变的部分是一个持久的系统级指令，记为 ℓₜ，它是第 t 次批次级更新之后的状态。该指令包含在提供给智能体的上下文中，但其本身并非动作选择策略。在推理时，框架组装一个任务特定的上下文

cₜ(h, x) = Assemble(ℓₜ, h, x), (1)

其中 h 表示框架提供的信息，x 表示任务或用户输入。完整的任务特定上下文通过 h 和 x 在不同片段间变化，而只有 ℓₜ 在演化批次间更新。

我们遵循 lin2026aevolve 的持久工件更新视角，将上下文演化建模为一个闭环的跨片段更新过程。我们使用*基础*来指代离线演化过程中使用的可变表示。基础是持久指令在维护、编辑和验证时的内部形式，然后才重构下一个指令检查点。设 sₜ 表示更新步骤 t 时的这个基础。初始指令 ℓ₀ 在所有条件下共享，初始基础 s₀ 从 ℓ₀ 初始化。对于文本维护的方法，sₜ 就是指令文本本身。对于 GRACE，sₜ = Gₜ 是一个图正则化基础，从中重构出 ℓₜ。

对于每个更新步骤 t ∈ {1, ..., T}，智能体在从批次分布 Dₜ 中抽取的任务上执行。执行使用冻结的动作选择策略 πθ，基于从先前指令检查点 ℓ_{t-1} 组装的上下文。由此产生的交互轨迹为

Eₜ = F_Experience(πθ, Assemble(ℓ_{t-1}, ⋅, ⋅), Dₜ). (2)

然后计算诊断观察

oₜ = F_Diagnose(Eₜ). (3)

演化函数使用诊断观察来更新基础并产生下一个指令检查点：

(sₜ, ℓₜ) ← F_Evolve(s_{t-1}, ℓ_{t-1}, oₜ). (4)

对于文本维护的上下文演化基线，

ℓₜ ← F_Evolve^text(ℓ_{t-1}, oₜ). (5)

对于 GRACE，

(Gₜ, ℓₜ) ← F_Evolve^graph(G_{t-1}, ℓ_{t-1}, oₜ). (6)

图 Gₜ 仅用于离线编辑和验证。部署使用重构的文本指令 ℓₜ，该指令与 h 和 x 组装，形成提供给 πθ 的智能体上下文。

我们保持 F_Experience 和 F_Diagnose 在所有条件下固定。因此比较隔离了每种方法通过 F_Evolve 维护、验证和重构演化指令组件的方式。在本工作中，GRACE 是该操作符的提议图正则化实现，在 §4 (https://arxiv.org/html/2607.09175#S4) 中介绍。§5.1 (https://arxiv.org/html/2607.09175#S5.SS1) 中的经验协议指定了受控偏移调度、检查点评估程序和用于评估结果部署上下文检查点的可靠性指标。在整篇论文中，上下文演化指的是更新智能体上下文持久指令组件的批次级过程。术语“策略”保留用于冻结动作选择策略 πθ(a| c)，除非在讨论先前工作使用的术语时。

参考图注
图1: GRACE 演化流水线概览。给定一份诊断报告和当前图 G_{t-1}，流水线通过三个阶段产生更新后的图 Gₜ 和相应的指令检查点 ℓₜ：操作规划、结构验证和增量重构。序列规划在操作规划内作为子步骤执行，而结构验证结合了确定性模式检查与迭代结构分析 (SA)。
## 4 方法：图正则化智能体上下文演化

使用 §3 中的符号 (https://arxiv.org/html/2607.09175#S3)，GRACE 将演化基础 sₜ 实例化为一个类型化图 Gₜ。节点编码从持久系统级指令 ℓₜ 中提取的原子指令单元，边编码这些单元之间的结构关系。部署的工件仍然是文本。在模式约束编辑和局部结构验证之后，GRACE 重构下一个指令检查点 ℓₜ，该检查点在推理时被组装到智能体上下文中。

### 4.1 图正则化基础

遵循异构信息网络的公式 (sun2011pathsim)，GRACE 在更新步骤 t 时将基础维护为一个有向类型化图 Gₜ = (Vₜ, Eₜ)，其中节点编码原子指令单元，边编码有向结构关系。该图配备有对象类型映射函数 φ: V → A 和关系类型映射函数 ψ: E → R。