Tev：通过密集进度奖励扩展长周期智能体环境

Hugging Face Daily Papers 论文
long-horizon-agents reinforcement-learning reward-shaping agentic-environments training-dataset

摘要

本文提出Tev-Gym——首个具有可验证、密集渐进奖励的长周期智能体训练数据集（涵盖7个领域、1,170个任务），并基于进度-势能奖励塑形（PPRS）训练出Tev-27B，在Agents' Last Exam的计算与数学科学领域达到与GPT-6 Astra和Claude Opus 5相当的Pass@5表现，并可泛化至Terminal-Bench 3.0/4.0。

长周期智能体因其能够自主工作数小时乃至数天来完成具有经济价值的任务而受到越来越多的关注，这种能力对于自动化发现和递归自我改进（RSI）至关重要。然而，开源模型在长周期任务上仍然表现不佳，主要原因是缺乏训练数据和可行的训练方案，而扩展这两方面都很困难：长且复杂的任务难以筛选和验证，其奖励也是稀疏的。本文同时解决了这两个问题。首先，我们提出Tev-Gym——首个具有可验证、密集、渐进奖励的长周期智能体训练数据集，包含7个领域中1,170个经过验证的任务环境。该数据集基于潜在世界优先（latent-world-first）的方法构建：首先构造一个潜在世界，即对任务领域、工作流程以及每一步之后预期状态的完整且正确的隐藏规范。然后，每个任务从该规范逐步渲染为面向智能体的环境，从而实现复杂度的可控性和天然的进度度量。其次，我们将这一度量转化为训练方案：通过进度-势能奖励塑形（PPRS），我们将进度转化为密集的逐步奖励，从而提升训练效率，并使原本难以训练的任务变得可训练。使用该方案训练得到的Tev-27B在Agents' Last Exam的计算与数学科学领域（ALE-CM）取得了显著提升，在Pass@5上与GPT-6 Astra和Claude Opus 5持平。尽管仅在ALE相关数据上进行训练，它仍能泛化至Terminal-Bench（TB）3.0和4.0子集，超越GLM 5.2和Gemini 3.7 Flash，并在TB 2.1等中周期任务上达到Claude Opus 4.8级别的性能。
查看原文
查看缓存全文

缓存时间: 2026/10/14 06:50

论文页面 - Tev：通过稠密进度奖励扩展长时程智能体环境

来源：https://huggingface.co/papers/2610.18868

摘要

长时程智能体因其能够自主工作——从数小时到数天——完成具有经济价值的任务而受到越来越多的关注，这一能力对于自动化发现和递归自我改进（RSI）至关重要。然而，开源模型在长时程任务上仍然表现不佳，主要原因是缺乏训练数据和可行的训练方法，而同时扩大两者规模也非常困难：长而复杂的任务难以收集与验证，且其奖励十分稀疏。我们同时解决了这两个问题。首先，我们提出了 Tev-Gym，这是首个具有可验证、稠密、渐进式奖励的长时程智能体训练数据集——涵盖 7 个领域的 1,170 个已验证任务环境。它基于“先构建潜在世界“（latent-world-first）的方法构建，首先构造一个潜在世界：对任务领域、工作流程以及每个步骤后预期状态的完整且正确的隐藏规范。然后每个任务从该规范逐步渲染为面向智能体的环境，从而实现可控的复杂度和自然的进度度量。其次，我们将这一度量转化为训练方法：通过进度-势能奖励塑形（progress-potential reward shaping, PPRS），我们将进度转化为稠密的逐步奖励，从而提高训练效率，并使原本不可训练的任务变得可训练。使用该方法训练得到 Tev-27B，在 Agents’ Last Exam 计算与数学科学领域（ALE-CM）上取得显著提升，在 Pass@5 指标上与 GPT-6 Astra 和 Claude Opus 5 相当。尽管仅在 ALE 相关数据上训练，它在 Terminal-Bench（TB）3.0 和 4.0 子集上展现出泛化能力，超越了 GLM5.2 和 Gemini3.7 Flash，并在 TB2.1 等中等时程任务上达到 Claude Opus 4.8 的水平。

查看 arXiv 页面 (https://arxiv.org/abs/2610.18868) 查看 PDF (https://arxiv.org/pdf/2610.18868) 项目页面 (https://tev-agent.github.io/) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.18868)

在智能体中获取此论文：

hf papers read 2610.18868

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 2

gordonhu/Tev-320B 文本生成• 321B• 约 1 小时前更新 • 2 • 8 (https://huggingface.co/gordonhu/Tev-320B)

gordonhu/Tev-27B 文本生成• 27B• 约 1 小时前更新 • 2 • 8 (https://huggingface.co/gordonhu/Tev-27B)

引用此论文的数据集 0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.18868 以从此页面链接它。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.18868 以从此页面链接它。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 以从此页面链接它。

相似文章

@MaxForAI: 有意思，最近我越来越觉得 RSI 方向正在被越来越多的实践研究一点一点地推进着……

X AI KOLs Timeline

评论介绍了 UCLA 与 Adobe Research 的 Tev 工作：通过构建可验证的长任务环境与稠密中间进度奖励来训练长时程 Agent。Tev-27B 在 Agents'LastExam 的计算与数学子集上以 Pass@5 28% 比肩 GPT-6 Astra 与 Claude Opus 5；Tev-320B 则将 GLM-5.3-Flash 在 Terminal-Bench 4.0 计算与数学子集上的 Pass@1 从 29% 提升至 37%。

Cowork-Gym：大规模合成交互式工作环境

Hugging Face Daily Papers

Cowork-Gym 通过“构建—执行—修订”循环与有状态用户模拟器，大规模合成协作式智能体环境（6.49 万个，涵盖 14 个应用场景），并用于对 9B/27B/35B-A3B Qwen 模型进行后训练，在六个智能体基准测试上的得分分别提升 8.7、6.4、4.1 分，其中 27B 版本在 PawBench 和 ClawEval 上取得最高平均分。

CUA-Gym: 为计算机使用代理扩展可验证的训练环境与任务

Hugging Face Daily Papers

CUA-Gym 引入了一个可扩展的流水线，用于为计算机使用代理生成可验证的训练环境和任务，从而解决数据稀缺问题。由此产生的数据集和模型在OSWorld-Verified和WebArena等基准测试上取得了强劲的性能。

DeltaTTG：使用 Token-to-Go 进度计量器训练多轮智能体

Hugging Face Daily Papers

DeltaTTG 提出一种可复用的进度计量器（progress meter），以 Token-to-Go（剩余生成 token 数）作为完成进度的可观测代理，在不改变奖励的前提下重新分配多轮智能体训练中的优势值，在 ALFWorld、PaperSearchQA 和 BFCL v3 上显著优于 GRPO 等 RL 基线。