论文页面 - T1: 面向长期任务的终端智能体强化学习

来源：https://huggingface.co/papers/2609.11042 发布于 9月10日

·

由 https://huggingface.co/TberiusJunyao 提交

Junyao (https://huggingface.co/TberiusJunyao) 于 9月10日

摘要

T1 是一个通过强化学习训练的 122B 参数混合专家模型，旨在云沙箱中执行长期终端任务，通过稳定的演员-评论家优化和分布外训练实现了最先进的结果。

智能体的应用正转向编码和科学发现等长期任务，其中终端任务尤为重要。我们介绍了 T1，这是一个通过强化学习训练的总参数为 122B 的混合专家模型，在云沙箱中操作真实 shell，每个任务可执行多达 300 多个工具调用轮次，并通过执行每个任务自身的验证器获得奖励。我们提供了一套完整的方案：首先，进行积极的预热启动以稳定演员-评论家训练，使用密集的过程奖励，根据通过验证器的绝对数量对轨迹进行评分。其次，通过 TITO 构建实现稳定优化，基于采样的精确令牌标识符进行训练，并在轮次边界进行漂移修复，以及采用路由回放重放，在每个 MoE 层记录采样器的逐令牌专家选择，并在训练期间回放。第三，使用完全分布外的训练语料库：独立的种子和与 Terminal-Bench 2.1 不重叠的合成任务，确保性能提升反映了真实的能力迁移而非基准过拟合。综合来看，TITO 和路由回放重放将训练到推理的对数概率差从 0.021 降至 0.013，并在损失区域实现了完全对齐的零令牌漂移。在 Terminal-Bench 2.1 上，我们的后训练流程将初始基础模型的通过率从 43.8% 提升至 T1 的 64.0%。在长期终端基准测试中，T1 达到了 27.9%，超越了 GPT-5.4 和 GLM-5.1。

查看 arXiv 页面 (https://arxiv.org/abs/2609.11042) 查看 PDF (https://arxiv.org/pdf/2609.11042) 项目页面 (https://jyyang26.github.io/t1/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.11042)

在你的智能体中获取此论文：

hf papers read 2609.11042

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 1

TberiusJunyao/T1-122B-A10B 图文转文本• 125B• 更新于约 1 小时前 • 26 • 1 (https://huggingface.co/TberiusJunyao/T1-122B-A10B)

引用此论文的数据集 0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.11042 以从此页面链接它。

引用此论文的 Space 0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2609.11042 以从此页面链接它。

包含此论文的收藏 1