无大纲学习：任务无关环境预处理

# 无教学大纲学习：任务无关的环境预处理  
来源：https://arxiv.org/html/2609.10824  
Varun Ursekar，所属机构：Scale AI  
Vijay S. Kalmath，所属机构：Scale AI  
Apaar Shanker，所属机构：Scale AI  
Veronica Chatrath，所属机构：Scale AI  
Yuan Xue，所属机构：Scale AI  

###### 摘要  
在LLM智能体处理新环境中的任务之前，它可以检查可用的语料库和工具，并构建可复用的资源，如索引、脚本或流程指南。然而，大多数自适应方法依赖任务样本、轨迹或评估反馈来决定构建什么。现有的任务无关方法虽然避免了这种监督，但会提前针对特定类型的环境固定准备策略。我们研究了一种更开放的设定：智能体能否在没有教学大纲的情况下学习陌生环境，即在测试之前且不知晓下游任务分布的情况下，自行选择如何准备环境？我们形式化了任务无关的环境预处理过程，其中学习系统在预算限制下探索环境，并为冻结的求解器生成可用产物。我们在六个异构基准测试中，比较了无辅助和配备存档库的Meta-Agent，以及固定的合成练习与语料处理方法。某个Meta-Agent变体在五个基准测试上取得了最高的平均@3奖励，而固定的语料处理在最大语料库基准上依然表现最佳。更大的学习预算未必能稳定提升下游奖励。然而，经过学习产生的产物减少了测试时达到特定分数所需的采样次数，这表明可复用的准备能将计算负担从重复的测试时尝试转移到任务前的学习阶段。

## 1 引言  
LLM智能体的性能在很大程度上取决于底层模型之外的选择：提示词、工具、上下文与记忆管理，以及语料库、数据库和外部服务的组织方式[16 (https://arxiv.org/html/2609.10824#bib.bib9), 35 (https://arxiv.org/html/2609.10824#bib.bib6), 37 (https://arxiv.org/html/2609.10824#bib.bib8), 38 (https://arxiv.org/html/2609.10824#bib.bib1)]。考虑一个在大型文件系统上执行检索的智能体。如果文件未命名且杂乱无章，智能体将无法获取文件内容线索，只能诉诸昂贵的穷尽搜索。因此，从业者会常规性地调整智能体的*运行环境*和*测试环境*组件，以适配预期任务。这引发了人们对自动化优化智能体以适应新任务的日益浓厚兴趣，涵盖提示优化、运行环境优化和自适应记忆等方面。

现有的自适应方法通常利用预期的测试时任务分布信息来指导修改。提示优化器如DSPy [15 (https://arxiv.org/html/2609.10824#bib.bib33)]和GEPA [1 (https://arxiv.org/html/2609.10824#bib.bib34)]使用*任务样本*和*评估反馈*。VeRO [31 (https://arxiv.org/html/2609.10824#bib.bib4)]和Meta-Harness [17 (https://arxiv.org/html/2609.10824#bib.bib5)]则使用类似信号，以代码形式修改整个运行环境。自适应记忆系统如AWM [34 (https://arxiv.org/html/2609.10824#bib.bib13)]、ACE [40 (https://arxiv.org/html/2609.10824#bib.bib21)]和动态备忘录 [29 (https://arxiv.org/html/2609.10824#bib.bib20)]则从*任务轨迹*中提取可复用的知识和流程，无论是否带有*标签*。

当智能体首次接触新环境时，这些监督信号可能不可用，尤其是当代表性任务获取成本高昂时。这种冷启动问题促使了在测试前进行智能体和环境*任务无关自适应*的研究。已有若干研究方向解决了部署前的智能体与环境适应问题。其中一个方向用自生成的探索性练习替代真实任务分布的知识。SPICE [21 (https://arxiv.org/html/2609.10824#bib.bib7)]使用基于语料库的自我博弈生成用于参数适应的课程，而PREPING [6 (https://arxiv.org/html/2609.10824#bib.bib10)]在工具环境中生成合成任务，并将其轨迹提炼为流程手册。在语料库环境中，可以离线准备检索结构，使文档集合更便于智能体搜索：RAPTOR [26 (https://arxiv.org/html/2609.10824#bib.bib30)]递归聚类和总结文档，GraphRAG [7 (https://arxiv.org/html/2609.10824#bib.bib31)]构建知识图谱和社区摘要，Corpus2Skill [28 (https://arxiv.org/html/2609.10824#bib.bib11)]将语料库编译成可导航的技能层级。与我们最接近的是Machine Studying [19 (https://arxiv.org/html/2609.10824#bib.bib23)]，它将学习视为一个明确的前置任务过程，并评估智能体在无下游任务的情况下，从语料库构建可复用上下文的能力。

这些方法中的每一种都根据环境结构确定了固定的处理策略。鉴于存在多种适合不同环境类型的方法，我们提出疑问：一个*开放式学习系统*能否根据环境内容来选择处理环境的方式？参见说明  
图1：我们配备存档库的Meta-Agent流程实例。环境E是一个包含文件系统的沙盒容器。包含基准特定产物（如工具和语料库）的基础环境在学习和测试阶段是共享的。在测试之前，meta-agent在预算B study下探索环境E，使用从挂载的存档库中选取的策略。它将学习产物写入一个卷，该卷随后挂载到测试时智能体的沙盒中。测试时智能体利用学习产物和预先存在的基准特定产物来解决未见过的任务。

具体来说，我们探究一个*Meta-Agent*能否在不知道下游任务分布的情况下探索环境，并生成能使冻结的求解器智能体在测试时有效执行任务的产物。求解器的权重和运行环境是固定的。改变的是它在沙盒环境中能找到的资源集合。这些产物可能通过目录、索引、知识库、脚本或工具来扩展环境，或通过提示引导、技能或手册提供运行环境侧的上下文。任何求解器在其沙盒内可访问的基于文件的产物都是允许的。

我们将两种Meta-Agent变体与PREPING和Corpus2Skill（两种以任务无关方式处理智能体环境的固定工作流）进行比较。在涵盖36个独特环境的六个基准测试中，每个环境具有不同大小的语料库、多样化的工具和专门的领域知识，两种Meta-Agent变体在五个基准测试上共同取得了最高的下游平均@3奖励，仅在BCP-G上表现不及Corpus2Skill。我们配备存档库的变体在所有六个基准测试上均优于无学习方法，并在下游保留奖励的平均@3和最佳@3指标中排名第一或第二。我们还分析了这些方法探索和产出的内容、求解器性能如何随学习预算变化，以及测试时采样如何随学习与否而变化。

我们做出四项贡献：  
1. 我们形式化了任务无关的环境处理：系统接收一个环境和有界的学习预算，但不提供下游任务实例、轨迹或标签，并为冻结的求解器构建可复用的环境资源、运行环境传递的上下文，或两者兼有。  
2. 我们引入了开放式的*学习Meta-Agent*，能够动态选择*如何探索*环境以及*创建什么*，包括无辅助和存档辅助变体。  
3. 我们表明，在六个异构基准测试中的五个上，开放式学习策略优于固定策略。  
4. 我们表明，额外的学习预算未必能可靠提升下游性能，而经过学习的智能体通常比未学习的智能体需要更少的测试时计算量来达到特定分数。

## 2 相关工作  
##### 任务信息驱动的智能体运行环境自适应。  
下游任务信息可以指导智能体系统应改变什么以及改变是否有效。DSPy [15 (https://arxiv.org/html/2609.10824#bib.bib33)]、GEPA [1 (https://arxiv.org/html/2609.10824#bib.bib34)]和PromptBreeder [10 (https://arxiv.org/html/2609.10824#bib.bib35)]根据任务样本和评估信号优化指令或演示，而VeRO [31 (https://arxiv.org/html/2609.10824#bib.bib4)]和Meta-Harness [17 (https://arxiv.org/html/2609.10824#bib.bib5)]则将这种搜索扩展到可执行的运行环境组件。记忆和上下文系统，包括AWM [34 (https://arxiv.org/html/2609.10824#bib.bib13)]、Memp [9 (https://arxiv.org/html/2609.10824#bib.bib14)]、ACE [40 (https://arxiv.org/html/2609.10824#bib.bib21)]、动态备忘录 [29 (https://arxiv.org/html/2609.10824#bib.bib20)]、Reflexion [27 (https://arxiv.org/html/2609.10824#bib.bib15)]、ExpeL [41 (https://arxiv.org/html/2609.10824#bib.bib16)]、MemGPT [23 (https://arxiv.org/html/2609.10824#bib.bib17)]、A-MEM [36 (https://arxiv.org/html/2609.10824#bib.bib18)]和Mem0 [4 (https://arxiv.org/html/2609.10824#bib.bib19)]，则从观察到的交互中提炼知识、流程或代码。其他工作将此处理重新定位到交互生命周期中：ProAct [13 (https://arxiv.org/html/2609.10824#bib.bib24)]在用户轮次间行动，IdleSpec [5 (https://arxiv.org/html/2609.10824#bib.bib25)]在工具调用延迟期间行动，Auto-Dreamer [39 (https://arxiv.org/html/2609.10824#bib.bib26)]在积累经验之后行动。这些方法使用任务样本、轨迹或反馈来决定改变什么。我们的设定则询问在获得此类任务信息之前应该构建什么。

##### 任务无关的智能体运行环境与环境自适应。  
在没有任务信息的情况下，系统必须从使用前可用的内容中推导其目标。Sleep-time Compute [20 (https://arxiv.org/html/2609.10824#bib.bib22)]研究了如何通过预处理提供的上下文来替代未知查询到达后的计算。Machine Studying [19 (https://arxiv.org/html/2609.10824#bib.bib23)]与我们的时间区间相同（在将来的查询之前学习），但将输入模态固定为语料库，将候选干预措施固定为自监督训练、合成数据微调和摊销的备忘录构建。而我们的决策空间则包括异构环境：学习系统必须确定处理什么以及产生何种形式的可复用支持。

现有方法在可转移性方面体现了不同的预设。检索系统假设有用的准备采取可查询的语料库结构形式，从传统的稀疏检索如BM25 [25 (https://arxiv.org/html/2609.10824#bib.bib29)]、密集检索如DPR [14 (https://arxiv.org/html/2609.10824#bib.bib28)]和检索增强生成 [18 (https://arxiv.org/html/2609.10824#bib.bib27)]，到由RAPTOR [26 (https://arxiv.org/html/2609.10824#bib.bib30)]、GraphRAG [7 (https://arxiv.org/html/2609.10824#bib.bib31)]、Corpus2Skill [28 (https://arxiv.org/html/2609.10824#bib.bib11)]和PANINI [24 (https://arxiv.org/html/2609.10824#bib.bib32)]构建的摘要、图谱和层级结构。而基于练习的系统则依赖于自生成的交互：Voyager [33 (https://arxiv.org/html/2609.10824#bib.bib12)]通过开放式探索获取可执行技能，SPICE [21 (https://arxiv.org/html/2609.10824#bib.bib7)]构建基于语料库的训练课程，PREPING [6 (https://arxiv.org/html/2609.10824#bib.bib10)]使用工具练习以生成流程手册。PREPING的引导式探索基线是Meta-Agent（无存档）最接近的操作类比：两者都在目标任务之前进行探索，并记录可复用的指导。我们将这些预设置于一个共同的协议下，并测试学习智能体是否能够根据环境选择和组合准备形式。

表1：下游平均@3奖励。最佳值加粗。次佳值加下划线。对于每种学习方法，每个产物迭代分数是每个任务三次任务时重复的平均值。数值报告三次独立产物迭代的均值±样本标准差。对于无学习，数值报告所有（103种选择3）三次重复子集估计的总体均值±总体标准差。
表2：下游最佳@3奖励。最佳值加粗，次佳值加下划线。对于每种学习方法，每个产物迭代分数是每个任务三次任务时重复中的最佳值。数值报告三次独立产物迭代的均值±样本标准差。对于无学习，数值报告所有（103种选择3）三次重复子集估计的总体均值±总体标准差。最佳@3消耗三次任务时展开，并非平均@3的固定成本替代。

## 3 任务无关的环境预处理  
在我们的设置中，智能体π在环境E中操作。一个智能体π = (m, H)是LLM m和运行环境H的元组。环境E是完成一组任务所需的共享运行时和资源集合。实际上，E实现为一个与Harbor框架 [12 (https://arxiv.org/html/2609.10824#bib.bib3)]兼容的隔离Docker沙盒。运行环境H代表在环境中调用模型的程序。H维护上下文，注册并调用工具，并驱动模型与环境之间的交互循环。虽然任何基于标准CLI的编码运行环境都与我们的设置兼容，但我们在本工作中始终使用Claude Code [2 (https://arxiv.org/html/2609.10824#bib.bib2)]运行环境。

每个环境E允许一个可行下游任务的空间T_E。每个任务t = (x_t, r_t) ∈ T_E由提示x_t和奖励函数r_t组成，r_t对使用x_t提示的智能体输出进行评分。一个基准提供有限的保留测试集；我们用D_E表示该集上的均匀经验分布。令π_solver表示一个冻结的下游智能体。它在环境E'和测试分布D_E上的聚合奖励为 R_π_solver(E', D_E) = E_{t ~ D_E}[r_t(π_solver(x_t, E'))]，(1) 其中E'可以是原始环境E或在测试前修改过的版本。

任务无关*学习系统*S的目标是在未观察到D_E的情况下改进R_π_solver(E, D_E)。在我们的工作中，S通过使用冻结的求解器和原始环境，输出一个修改后的环境E_studied来实现这一点，即S: Π × E → E，其中Π和E分别是智能体和环境的空间。我们保持运行环境H的实现固定，尽管可以通过其现有的上下文接口提供产物。

此处，任务无关意味着S不会接收到真实的下游任务实例或源自其分布的信号，包括轨迹、标签、验证器输出或评估反馈。它可以与E交互并使用该交互的记录，包括合成练习，来指导其修改。S可以产生任意数量和类型的产物，这些产物以E_studied中的文件形式实现，例如索引、知识库、脚本或可执行工具。E_studied包含E中的所有原始产物，以及任何旨在提供支持的额外产物。