@MaxForAI: 有意思，最近我越来越觉得 RSI 方向正在被越来越多的实践研究一点一点地推进着……

X AI KOLs Timeline 论文
agentic-rl long-horizon-tasks reinforcement-learning verifiable-rewards training-environments rsi

摘要

评论介绍了 UCLA 与 Adobe Research 的 Tev 工作：通过构建可验证的长任务环境与稠密中间进度奖励来训练长时程 Agent。Tev-27B 在 Agents'LastExam 的计算与数学子集上以 Pass@5 28% 比肩 GPT-6 Astra 与 Claude Opus 5；Tev-320B 则将 GLM-5.3-Flash 在 Terminal-Bench 4.0 计算与数学子集上的 Pass@1 从 29% 提升至 37%。

Interesting，最近我越来越觉得 RSI 方向正在被越来越多的实践研究一点一点地推进着。 刚刚看到一个非常有意思的工作，来自 UCLA 和 Adobe Research，名字叫 Tev，专门研究如何扩展长任务 Agent 的训练。 他们直接训练了一个 27B 的模型，在 Agents'LastExam 的计算与数学科学任务上 Pass@5 达到了 28%，竟然和 GPT-6 Astra 以及 Claude Opus 5 持平了？？？ 当然，这只是在一个特定子集上的结果，但考虑到模型只有 27B，这个成绩还是非常值得关注的。 而且我觉得他们的方法比结果本身更值得关注。 具体来说：现在有很多 Agent 已经能连续工作几个小时甚至更久，但如何通过强化学习来训练这类 Agent，其实是一个非常棘手的问题。 首先，大规模构建这类复杂任务本身就很难。 其次，即使真的构建出来了，模型也很难从中学习。 因为一个任务可能需要几十个连续步骤，如果最后一步失败了，传统的基于结果的奖励方式往往只会给它一个零分。 即使模型把前面 90% 的内容都做对了，只要最后一步出了问题，整个过程可能就无法产生任何有效的学习信号。 Tev 的思路是先构建一个完全正确的任务世界，包含完整的工作流程、正确答案以及每个阶段的预期状态。 然后，从这个正确世界反向推导出一个有缺陷的环境，让 Agent 自己去修复它（这部分绝对至关重要）。 这样，训练系统就能精确知道 Agent 在每一步做对了多少，即使任务最终没有完成，仍然可以根据中间进度来提供奖励。 用这种方法，他们构建了 1170 个可验证的长任务环境，覆盖了软件工程、数据工程、AI 研究、数学、安全、基础设施等 7 个领域。 更有趣的是，整套方法可以迁移到不同规模的模型上。 他们拿 GLM-5.3-Flash 继续训练，得到了 Tev-320B，在 Terminal-Bench 4.0 的计算与数学子集上将 Pass@1 从 29% 提升到了 37%。 我觉得这真正揭示了几个关键点。 我们一直在不停讨论如何让 Agent 不断变强，如何让能力提升越来越少地依赖人工参与。 但在这背后，有大量的非常具体的工程和研究问题需要解决。 训练数据从哪来，如何自动构建复杂任务，如何验证中间状态，如何将失败轨迹转化为有效的学习信号。 Tev 正好命中了其中几个最关键的点。 而且已经通过实际训练证明了，它能够提升不同规模模型上的长任务能力。 RSI 的许多基础能力正是这样一点一点地积累起来的。
查看原文
查看缓存全文

缓存时间: 2026/10/15 14:14

有意思，最近越来越觉得 RSI（递归自我改进）这个方向正在被越来越多的实践研究一点一点地推进着。

刚看到一项来自 UCLA 和 Adobe Research 的非常有意思的工作，叫 Tev，专门针对如何扩展长任务 Agent 的训练这一问题。

他们直接训练了一个 27B 的模型，在 Agents’LastExam 的计算与数学科学任务上达到了 28% 的 Pass@5，居然追平了 GPT-6 Astra 和 Claude Opus 5？？？

当然，这只是某个特定子集上的结果，但考虑到模型只有 27B，仍然非常值得关注。

而且我认为他们的方法比结果本身更值得深入关注。

具体来说：现在许多 Agent 已经能够连续工作几个小时甚至更长时间，但如何通过强化学习训练这类 Agent，实际上是一个非常棘手的问题。

首先，大规模构建这类复杂任务本身就很难。

其次，即使你真的构建出来了，模型也很难从中学习。因为一个任务可能需要几十个连续步骤，如果最后一步失败了，传统的基于结果的奖励往往直接给零分。

即使模型前面 90% 都做对了，只要最后一步出了问题，整个过程可能就产生不了任何有效的学习信号。

Tev 的思路是：先构建一个完美正确的任务世界，包含完整的工作流程、正确的答案，以及每个阶段的预期状态。

然后，从这个正确环境中逆向推导出一个有缺陷的环境，让 Agent 自己去修复它（这部分绝对至关重要）。

这样，训练系统就能精确知道 Agent 在每一步做对了多少，即使任务最终没有完成，也可以根据中间进展来提供奖励。

用这种方法，他们构建了 1170 个可验证的长任务环境，覆盖了软件工程、数据工程、AI 研究、数学、安全和基础设施等 7 个领域。

更有意思的是，这套方法可以迁移到不同规模的模型上。

他们以 GLM-5.3-Flash 为基础继续训练，得到了 Tev-320B，在 Terminal-Bench 4.0 的计算与数学子集上将 Pass@1 从 29% 提升到了 37%。

我觉得这真的凸显了几个关键点。

我们一直在谈论如何让 Agent 变得越来越强，如何让能力提升越来越少地依赖人类参与。

但在这些背后，有大量的非常具体的工程和研究问题需要解决。

训练数据从哪里来，如何自动生成复杂任务，如何验证中间状态，如何将失败的轨迹转化为有效的学习信号。

Tev 正好命中了其中几个非常关键的点。

而且它已经通过实际训练证明了，可以跨不同规模的模型提升长任务能力。

RSI 的许多基础能力就是这样一步一步构建起来的。

Wenbo Hu (@gordonhu608): 如何扩展长时程的 Agentic RL 环境？🤔

我们提出了 Tev-Gym：1170 个带有稠密进度奖励的环境。在其上训练的结果：

🔥 Tev-27B 在 ALE-CM（计算与数学领域）的 Pass@5 上追平了 GPT-6 Astra 和 Claude Opus 5。 🚀 Tev-320B 在 Terminal-Bench 4.0-CM 上登顶开源模型

相似文章

Tev：通过密集进度奖励扩展长周期智能体环境

Hugging Face Daily Papers

本文提出Tev-Gym——首个具有可验证、密集渐进奖励的长周期智能体训练数据集（涵盖7个领域、1,170个任务），并基于进度-势能奖励塑形（PPRS）训练出Tev-27B，在Agents' Last Exam的计算与数学科学领域达到与GPT-6 Astra和Claude Opus 5相当的Pass@5表现，并可泛化至Terminal-Bench 3.0/4.0。

@cuisitekp: 9B 的模型，把比它大好几倍的模型干下去了。 Ai2 和华盛顿大学那拨做 OLMo / Tülu 的人，放出一篇新论文叫 Tmax，自称是目前最强的开源「终端 agent」RL 训练配方。 成绩：一个 9B 模型在 Terminal-Be…

X AI KOLs Timeline

Ai2和华盛顿大学发布论文Tmax，提出目前最强的开源终端智能体RL训练配方。仅用9B参数模型在Terminal-Bench 2.0上击败更大模型，关键在于低成本生成大量可验证训练数据，而非模型规模或算法。