@qingke_ai: 你做 agent 的 RL 环境，最贵的返工常常不在模型，而在环境跑通了、分数也算出来了，算的却是错的。 CoworkEnv 是从「要训练什么能力」倒推环境的一篇实践。一个任务包要同时说清四件事，而且彼此一致：用户请求、初始状态、工具接口…
摘要
一篇关于 CoworkEnv 的实践笔记，讨论如何从「要训练什么能力」倒推设计 agent 的 RL 环境，总结了环境一致性、评分器缺陷、轨迹落盘与训练中断等 11 条经验，8B LoRA SFT 在 Claw-Eval 上把 Overall 从 46.6 提升到 64.1，但仍落后于 Claude Opus 4.6 的 80.4。
查看缓存全文
缓存时间: 2026/10/28 13:38
你做 agent 的 RL 环境，最贵的返工常常不在模型，而在环境跑通了、分数也算出来了，算的却是错的。
CoworkEnv 是从「要训练什么能力」倒推环境的一篇实践。一个任务包要同时说清四件事，而且彼此一致：用户请求、初始状态、工具接口、评分检查。
两个真实的坑。5 个任务把联系人操作指向 /contacts/send，服务实际提供的是 /contacts/send_message；另一个任务要求创建 3 条待办，评分器只要求出现 2 次成功创建调用。只统计成功调用的次数，可能会把三次重复创建当作三个不同事项。
轨迹落盘也不安全。过长的工具观察只保留前 1,000 个字符，超 40,000 字符预算的整条样本直接丢弃，样本过了筛选，也要回头看关键证据还在不在。
训练侧最痛的一次：PPO 在第 122 步因为解码失败中断，计划 187 步，检查点间隔设成了一百万次更新，最后什么都没留下。
结果上，8B 的 LoRA SFT 在 Claw-Eval 上 Overall 46.6 → 64.1，多轮 45.9 → 77.8，通用 46.7 → 60.9。同表里 Claude Opus 4.6 是 80.4，离前沿还有一截。
最值得抄的是他们的收尾：先确定当前最需要回答的问题，再设计能够回答它的最小实验。
局限也写清楚了：仓库里的 RL 部分目前主要是数据处理和奖励预处理，完整分布式 RL 栈和数据集还没打包；GDPO 那组对比同时改了 batch size。
做 agent、环境合成、RL 后训练的人，14 页 11 条经验的实践笔记值得先收藏。
相似文章
@Xudong07452910: RL 训练 LLM Agent 有个经典难题： 一次长任务失败后，模型到底该从哪里学起？ 最终奖励通常只能告诉 Agent「成功或失败」，却很难指出中间哪些判断值得保留，哪些动作把整条轨迹带偏了。 这篇论文提出 SEED，用「自进化在线蒸…
这篇论文提出SEED方法，通过自进化在线蒸馏将轨迹中的事后技能内化到模型参数中，解决长任务RL训练中奖励稀疏的问题，在ALFWorld等基准上取得了显著提升。
CoworkEnv：为长时程协同智能体合成训练环境
CoworkEnv 提出一个能力引导框架，为 AI 协同智能体合成可执行的训练环境，通过工作流引导的任务构建与程序化验证，支持 SFT 与 RL 训练紧凑的 PocketWorker 模型，在 Claw-Eval 多轮任务上取得显著提升。
@NFT_Chen: 太牛了！Agent交互强化学习终于不再“工程地狱”了！HarborRL开源全套框架，真实Coding Agent也能稳稳做RL！ 以前训Agent RL最痛苦的不是算法，是轨迹收集、Token对齐、多轮工具调用、策略版本一致性这些工程坑。…
HarborRL开源了一个轻量级智能体强化学习框架，将模型服务、轨迹生成、工具执行、验证器奖励和策略更新整合为可复现的流水线，支持Qwen/GLM模型×GRPO/DAPO算法×200+沙箱任务×40+ Agent Harness（如Claude Code、SWE-agent）的灵活组合。
@FeitengLi: 动手搭了一个 ReAct agent 系统：围绕 LLM 做 agent 系统 傍晚散步时在想：如何训练 LLM 的 agentic 能力、数据准备、模型训练、agent 轨迹 action 构造 RL 训练，再想 Claude 在过去一…
作者分享了搭建 ReAct agent 系统的经验，并介绍了智谱 AI 发布的 GLM-5 技术报告，该模型在 agentic、推理和编码方面取得了突破。
@qingke_ai: https://x.com/qingke_ai/status/2071281892964659384
该文章由ROLL团队分享了在终端环境中进行Agentic RL训练时的实践经验，包括环境管理器设计、异步训练管线以及多种模式切换，并对比了RLVR与Agentic RL的本质区别。