论文页面 - Long-Horizon-Terminal-Bench：基于密集奖励评分的长时间终端任务中智能体极限测试

来源：https://huggingface.co/papers/2607.08964 发布于 7 月 9 日

·

由 https://huggingface.co/zli12321 提交

LZX (https://huggingface.co/zli12321) 于 7 月 13 日

#1 当日论文 (https://huggingface.co/papers/date/2026-07-13) 作者：

,

,

,

,

,

,

,

,

,

,

,

摘要

AI 智能体已能够自主完成短小、定义明确的任务。然而，现有的终端基准主要关注数分钟内可完成的简单问题，且仅根据最终结果进行评估。这种设置忽略了中间进度和部分解，导致奖励信号稀疏，无法全面反映智能体能力。我们提出 Long-Horizon-Terminal-Bench，一个包含 46 个长时间跨度任务的终端基准，涵盖九个类别，包括实验复现、软件工程、多模态分析、交互式游戏和科学计算。每个任务遵循 Terminal-Bench 风格的设置，配有参考解决方案或仿真引擎，但进一步分解为细粒度的可评分子任务。这种设计实现了密集的中间奖励和部分分数，使评估不仅能捕获智能体是否达到最终目标，还能显示其在开放式工作流中的进展程度。Long-Horizon-Terminal-Bench 中的任务通常需要数百个回合和数分钟到数小时的执行时间，强调长时间规划、长上下文管理和迭代式调试，而非一次性问题求解。我们评估了 15 个前沿模型，发现智能体每个任务平均消耗 9.9M tokens，每轮运行约 231 个回合、执行 85.3 分钟，这使得 Long-Horizon-Terminal-Bench 比先前的终端基准更具挑战性。即使是最强的测试模型，在部分奖励阈值 0.95 下的 pass@1 仅为 15.2%，在完美奖励阈值 1.0 下为 10.9%；而两个阈值下各模型的平均通过率分别为 4.3% 和 1.7%。这些结果揭示了巨大的提升空间。我们进一步分析了失败模式和错误类型，并开源 Long-Horizon-Terminal-Bench，以支持未来在长时间终端智能体上的进展。

查看 arXiv 页面 (https://arxiv.org/abs/2607.08964) 查看 PDF (https://arxiv.org/pdf/2607.08964) 项目页面 (https://zli12321.github.io/LHTB/index.html) GitHub25 (https://github.com/zli12321/LHTB) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.08964)

在你的智能体中获取这篇论文：

hf papers read 2607\.08964

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.08964 以在此页面链接。

引用此论文的数据集 0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.08964 以在此页面链接。

引用此论文的 Space 0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.08964 以在此页面链接。

包含此论文的收藏 0

没有收藏包含此论文

请将此论文添加到一个收藏 (https://huggingface.co/new-collection) 以在此页面链接。