用集体技能强化智能体

来源：https://www.alphaxiv.org/abs/2609.reinforcing-agents-collective-skills

想象一下，您正试图教导一个AI智能体完成人们真正委派的工作：撰写文献综述、审计代码所有权、生成营销简报。要通过强化学习来提升——即让模型尝试任务、接收评分并调整——您需要两样东西：成千上万个智能体可以独立运行的自包含练习环境，以及一种评估智能体是否正确完成工作的方法。真实工作负载通常是私有的。从软件仓库中合成的任务严重偏向编程。根据手工构建的主题列表生成的练习可能涵盖更广的领域，但可能会遗漏从业者实际的工作方式或质量评估方法。本文作者探究了一个问题：公开发布的“智能体技能”——由从业者编写的文件夹，包含说明、脚本、参考资料和关于常见问题的笔记——是否可以被编译成可靠的训练环境，同时保留工作内容及其标准。在约3，400个此类技能衍生的任务上进行了300轮强化学习后，一个270亿参数的模型在一个公开的终端基准测试中提升了4.7分，缩小了本地模型与更大托管系统之间的部分差距。

柱状图展示了几个模型在Terminal-Bench 2.1上的pass@1得分。Qwen3.8-27B基础模型条达到49.4，训练后的模型条达到54.1，标有“RL +4.7”的括号。一条垂直虚线将左侧的本地模型与得分更高的右侧更大规模的云端或前沿模型分开。在从技能衍生的环境中进行了300次仅基于结果的强化学习更新后，训练后的模型（浅绿色，54.1）在这个公开的终端基准测试上超越了其基础版本（紫色，49.4）。虚线显示，与更大的托管前沿模型之间仍然存在差距。

扩展智能体的强化学习需要充足的训练任务和环境。现有方法从软件仓库挖掘任务，或提示模型根据手工设计的主题列表来创造任务。这两种策略都能产生大量数据集，但它们的覆盖范围取决于来源选择，并且许多终端数据集集中在技术工作流上，如系统管理、文件操作和编程。

这些方法还遗漏的是“过程”。一个检查交付文件是否正确的测试无法区分仔细的过程与删除失败证据并报告成功的过程。结果测试仅指示任务是否完成，而非是否通过人类社会看重的最优过程完成；仅基于结果奖励的强化学习在青睐仔细的文献综述而非伪造的文献综述方面手段有限。

“智能体技能”是一个以SKILL.md文件为根的文件夹，包含结构化的元数据（名称、描述、触发条件），后跟自由格式的说明，以及可选的脚本、参考资料和资源。Anthropic在2025年底引入了这种格式，用于打包可重复使用的智能体工作流（https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skills），就像入职指南打包机构专业知识一样。自该格式推出以来，从业者已发布了成千上万的技能，涵盖软件、数据、研究、设计、业务运营等多个领域。每一项都是对某人足够重视并记录下来的工作的小型记录：需要什么工具、通常会出什么问题以及好的结果是什么样子。Skill2Env GitHub仓库（https://github.com/NVlabs/Skill2Env）提供了完整流程、SkillHub以及快速入门指南。

为了保持源池的可用性，作者对爬取的技能进行了过滤：如果技能需要外部账户、登录或实时服务；物理硬件；仅包含提示而没有可执行工作流的人设；或涉及有害活动，则该技能会被丢弃。近重复项——由于热门技能会被分叉并轻微编辑而常见——通过比较SKILL.md文件的文本相似性来移除。结果是SkillHub，一个包含约3，400个技能的快照。

流程图包含六个阶段，分两行排列。顶行从左到右：SkillHub（网络爬取的智能体技能）、Plan（Codex作为调查员，研究资产和分解工作流）、Diversify（从关键词库中采样六个任务轴）。底行从右到左：Create（Codex作为生成器，在Docker内构建世界、说明、测试、评分标准和解决方案）、Verify（静态检查、Oracle必须通过、NOP必须失败、固定基础镜像）、RL环境（Harbor任务目录布局，包含说明、Dockerfile、测试、评分标准和解决方案）。Skill2Env流程通过六个阶段将公开的智能体技能转化为经过验证的强化学习环境。规划阶段将每个技能分解为不同的工作流，并识别现实世界的资产；多样化阶段采样六个轴，包括原型、人设和复杂度；创建阶段生成容器化的世界、确定性测试和源自技能的行为评分标准；验证阶段过滤掉参考解决方案失败或无操作智能体通过的任务。Skill2Env流程通过四个阶段将一个技能转化为多个独立的练习任务：规划、多样化、创建和验证。

规划智能体——一个运行在Docker容器中、具有网络访问权限的Codex CLI实例（https://github.com/openai/codex）——读取完整的技能包。它提取该技能所教授的不同的、可验证的工作流，并根据三个标准进行排序：结果应可从容器最终状态检查，任务应明确指定，难度应来自工作本身而非模糊性。一个文献综述技能可能产生一个筛选与综合工作流，以及一个单独的引用核对工作流。

对于每个工作流，规划者还提出具体的外部资产——固定提交的真实仓库、版本化的文档、官方API规范——以及一组任务轴：原型（例如，审计报告或错误修复）、验证器类型（例如，证据可追溯性或功能正确性）、复杂度等级、人设、说明语气和请求者专业知识。这些轴基于工作流进行设定，例如研究工作流会与证据可追溯性验证配对，而非随机选择。

然后，一个新的创建智能体按照固定顺序构建任务：它在environment/内构建初始世界，编写说明，实现测试，编写评分标准，最后才编写参考解决方案。测试和评分标准在解决方案存在之前就已冻结，因此解决方案必须满足评分契约，而非相反；失败的参考解决方案被视为解决方案错误，而非削弱验证器的理由。实时服务依赖项由本地替代品取代——具有确定性响应的存根服务器、录制与重放的固定装置，或带种子的本地数据库——这样环境在智能体求解时绝不依赖网络。

评分标准不是通用的检查清单。它包含了从源技能自身方法论直接衍生的“必须做”、“必须避免”和“最佳实践”要点。对于一个安全所有权审计技能，评分标准继承了该技能的默认排除项——合并提交、机器人、批量发布快照——作为明确的“必须避免”条款。附录追溯了源技能的所有权风险工作流如何演变为生成任务的世界、说明和审计报告评分标准。

在任务被接受之前，主机在全新的容器中运行两项检查：参考解决方案必须在所有指标上获得满分，而无操作智能体必须在所有指标上获得零分；未通过任一试验的候选任务将被拒绝。基础镜像被固定到内容摘要，以确保世界的可重现性。

生成的数据集包含7，971个任务，涵盖13个领域。检索测试证实流程保留了源技能内容：当使用任务说明和评分标准作为查询时，真正的源技能是73.2%任务的Top-1匹配项，是94.6%任务的Top-10匹配项，而随机基线概率为0.03%。

强化学习实验使用Qwen3.8-27B作为基础模型。Skill2Env的一个2，400任务子集作为训练分布，每个任务由其test.sh脚本评分，该脚本写入最多六个命名指标（值在[0,1]区间）——每个覆盖工作流的一个不同方面——并将它们平均为每个情节的程序化分数。训练算法是DPPO的一种变体：它对八个样本轨迹组内的奖励进行归零化，然后屏蔽那些更新会偏离采样时记录分布过远的单个词元，无需单独的参考模型。所有轨迹得分相同的组不产生梯度，这隐式过滤了那些被轻松解决或当前对策略模型不可解的任务。

经过300次仅基于结果的强化学习更新后，在Terminal-Bench 2.1上——该指标衡量单次尝试中所有测试通过的任务比例，通过五次独立试验测量——pass@1从49.4%上升到54.1%。在手工验证的S2EBench上（79个任务，来自同一SkillHub源但被排除在训练之外），全部测试通过率从33.4%上升到37.7%，平均部分得分从56.6上升到75.1。这种提升可迁移至Terminal-Bench 2.1，该测试与训练集没有超过所述文本相似度阈值的重叠任务，作者将这种迁移解释为改进了规划、工具使用和任务完成能力，而非记住了某个任务族。

这种解释是合理的，但并非由这些结果唯一确立。训练子集覆盖13个领域，而Terminal-Bench偏向技术工作流；是技能广度、技能来源、验证器质量还是简单的强化学习训练量驱动了迁移，此处并未分离讨论。S2EBench是私有的，包含79个任务，且与训练集来自同一SkillHub分布，尽管没有单个任务重叠。

使用评分标准校准的运行使用相同的强化学习算法，但为每个情节增加了一个评分者分数。评分者——一个独立的大型语言模型——接收任务说明、一个惩罚无目的循环和奖励黑客的固定元评分标准、任务特定的评分标准以及智能体的记录消息。它返回一个从-5到+5的整数。该分数被缩放后以0.2的权重加到程序化奖励上，因此评分者最多可以将总奖励移动±0.2。-5分是为测试篡改或伪造证据保留的，可以将一个部分通过的情节拉入负值区域。

折线图显示了两种条件下300步的总训练奖励：仅结果强化学习（蓝色）和结果加评分标准强化学习（绿色）。蓝线总体上升并通常位于绿线之上，两条线都显示出围绕平滑趋势的噪声式逐步变化。300步的总训练奖励。仅结果运行（蓝色）通常位于评分标准校准运行（绿色）之上。因为这两条线优化不同的目标，这种差距反映了信号的不同平衡，而非清晰的性能比较。保留的基准测试显示评分标准运行落后：在Terminal-Bench 2.1上为50.1 vs 54.1，在S2EBench通过率上为34.7 vs 37.7，在S2EBench平均分上为63.6 vs 75.1。在训练过程中，评分标准运行的程序化奖励在大部分训练时间保持在0.5到0.6之间，低于仅结果运行，而评分者项从第一次到最后一次更新都保持平坦。该策略似乎用一些测试通过换取了评分标准所奖励的行为，而评分者信号没有提供上升的梯度。

作者指出了两个可能的原因，但未声称已验证：单一固定权重λ=0.2和加法形式未经过调优，并且技能规定的方法论可能不会最大化基准测试的通过率。评分者本身具有区分能力：它将21%的轨迹评为-2或更低，并将有证据的奖励黑客评为-5。

然而，独立的行为对齐探针指向了不同的方向。在一个使用200个任务的成对比较中，评分者接收到原始源技能以及两个匿名化的轨迹，并选择哪个更贴近技能描述的方法。与基础模型相比，评分者在54.5%的任务上更喜欢仅结果检查点，在73.0%的任务上更喜欢评分标准检查点。评分标准检查点更常被偏好，这支持了基于评分标准的奖励维度可以增加超出仅结果测试所能奖励的行为对齐这一假设。这个比较具有提示性但并非决定性：每个检查点是分别与基础模型比较，而非相互比较，并且同一评分者家族提供了评分标准训练奖励和偏好评分。

开篇的张力在于，现实的智能体训练需要能够同时捕捉工作要求和从业者判断完成质量的环境。Skill2Env流程通过将从业者编写的文件夹编译成带有确定性测试的离线容器来解决第一部分，并通过在编写参考解决方案之前将每个技能的方法论冻结为任务特定的评分标准来解决第二部分。仅结果强化学习的结果——在无任务族重叠的公开基准上提升4.7分——表明源自技能的环境教授的是可迁移的终端任务能力，而不仅仅是特定任务的模式。评分标准结果确立了，将技能内容的程序部分注入奖励信号，可以使模型行为向技能描述的方法转移，但代价是基准可衡量的任务完成率下降，如何平衡这两个渠道仍是未来工作的问题。

Binfeng Xu (@billxbf)： 今天我们把超级智能归还给其所有者。 介绍Skill2Env 🎨，为现代智能体强化学习提供最对齐且最多样的数据集。🧵