zli12321/LHTB 来源：https://github.com/zli12321/LHTB

长时域终端基准测试（LHTB）

``

| | | | | |_ | __
| | | || | | | | |) | | || _ | | | | |) | |____|| || || |___/ Long-Horizon Terminal-Bench ``

博客（https://zli12321.github.io/LHTB/） arXiv（https://arxiv.org/abs/2607.08964） Hugging Face数据集（https://huggingface.co/datasets/IntelligenceLab/Long-Horizon-Terminal-Bench） 排行榜（https://zli12321.github.io/LHTB/leaderboard.html）

长时域终端基准测试（LHTB） 是一个包含 46 个任务 的基准，用于衡量LLM智能体在容器化终端中持续进行有用工作超过 数百步 的能力。与短时域编码基准（智能体编写一个工件即停止）不同，LHTB将智能体放入有状态环境，并使用 隐藏的、从工件重建的验证器 进行评分——自我报告进度不计入成绩。任务涵盖交互式游戏与谜题、多模态分析、软件/逆向工程、科学计算、地球与能源系统、安全与性能、研究复现以及专业的APEX风格工作流。

配套参考：Terminal-Bench（https://github.com/laude-institute/terminal-bench）/ Terminal-Bench 2.0（https://github.com/laude-institute/terminal-bench-2）。使用 Harbor（https://github.com/laude-institute/harbor）进行评估。

结果（2026年7月快照）

我们通过统一的 Terminus-2 框架（每个任务 90 分钟预算）评估了 21 个前沿模型。即使是最强的模型，在严格标准下也仅解决了约 28% 的任务，中位任务从未被任何模型解决——LHTB 远未饱和。

排行榜——46 个任务的平均奖励

LHTB 排行榜

解决 = 奖励 ≥ 0.95。成本 = 按标价计算的每任务平均美元估算（乘以46可估算全套装成本）。最新数据请参阅实时排行榜（https://zli12321.github.io/LHTB/leaderboard.html）。

成本 vs. 奖励

成本 vs. 奖励 能力不随价格线性变化（以下成本为每任务）。Grok 4.5 以约 11/任务位居榜首，而更便宜的模型如 **MiniMax M3（6/任务）** 和 Hy3（$2.47/任务） 与成本高出 5–10 倍的模型（Claude Fable 5 为 $73/任务，Claude Sonnet 5 为 $60/任务）相比也颇具竞争力。

基准难度高

• 46 个任务中有 29 个从未被任何模型解决（R ≥ 0.95）。
• 仅 17 个任务被至少一个模型解决。
• 在所有模型×任务运行中，约 55% 的奖励低于 0.25——智能体在预算耗尽之前就陷入死循环、循环或提前退出。

图表与博客快照相同，通过 assets/make_figures.py 生成。

仓库布局

LHTB/ ├── tasks/ # 46 个 Harbor 任务定义（数据集） │ ├── langchain-version-migration/ │ ├── document-table-layout-reconstruction/ │ ├── great-expectations-audit/ │ └── ... ├── configs/examples/ # 示例 Harbor YAML（不包含密钥） │ ├── oracle_smoke.yaml │ ├── terminus2_openai.yaml │ ├── terminus2_openrouter.yaml │ └── full_benchmark.yaml ├── LICENSE └── README.md

每个任务使用与 Terminal-Bench 2.0 相同的 5 文件 Harbor 布局：

/ ├── task.toml # 元数据、超时、资源 ├── instruction.md # 面向智能体的提示 ├── environment/ # Dockerfile + 资源 ├── tests/ # 隐藏的验证器 └── solution/ # 参考/标准答案

快速开始

1. 安装 Harbor

uv tool install harbor
# 或：pip install harbor

你还需要 Docker 在运行。许多 LHTB 镜像仅支持 amd64；在 Apple Silicon 上：

export DOCKER_DEFAULT_PLATFORM=linux/amd64

2. 克隆本仓库

git clone https://github.com/zli12321/LHTB.git
cd LHTB
# 大型 APEX 世界压缩包/视频使用 Git LFS（>100MB）。
git lfs install
git lfs pull

3. 使用标准答案智能体进行烟雾测试（无需 API 密钥）

harbor run -c configs/examples/oracle_smoke.yaml

这将端到端运行几个参考解决方案，并检查 Docker 构建和验证器是否正常工作。

4. 在几个任务上运行智能体

将密钥放在环境变量中（切勿放在 YAML 中）：

export OPENAI_API_KEY=sk-...   # 你的密钥
harbor run -c configs/examples/terminus2_openai.yaml

或者通过 OpenRouter：

export OPENROUTER_API_KEY=sk-or-v1-...
harbor run -c configs/examples/terminus2_openrouter.yaml

5. 完整的 46 任务基准测试

export OPENAI_API_KEY=sk-...
harbor run -c configs/examples/full_benchmark.yaml

编辑 YAML 中的 model_name、n_concurrent_trials 和超时以匹配你的设置。结果会放在 ./jobs/ 目录下（已加入 gitignore）。

示例配置

安全： 示例 YAML 有意省略了 api_key。请通过环境变量（OPENAI_API_KEY、OPENROUTER_API_KEY 等）传递凭据。不要提交真实的密钥。

任务类别（46 个任务）

在 tasks/ 下浏览任务文件夹，查看 instruction.md 和 task.toml。

博客与论文

• 博客：https://zli12321.github.io/LHTB/
• 排行榜：https://zli12321.github.io/LHTB/leaderboard.html
• 论文：https://arxiv.org/abs/2607.08964
• 数据集（Hugging Face）：https://huggingface.co/datasets/IntelligenceLab/Long-Horizon-Terminal-Bench

引用 LHTB

如果你使用了本基准，请引用：

@misc{li2026longhorizonterminalbenchtestinglimitsagents,
      title={Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading}, 
      author={Zongxia Li and Zhongzhi Li and Yucheng Shi and Ruhan Wang and Junyao Yang and Zhichao Liu and Xiyang Wu and Anhao Li and Yue Yu and Ninghao Liu and Lichao Sun and Haotao Mi and LeoweiLiang},
      year={2026},
      eprint={2607.08964},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2607.08964}, 
}

相关工作

• Terminal-Bench（https://github.com/laude-institute/terminal-bench）/ Terminal-Bench 2.0（https://github.com/laude-institute/terminal-bench-2）
• Harbor（https://github.com/laude-institute/harbor）—— LHTB 使用的评估框架

许可证

Apache License 2.0 —— 参见 LICENSE。