论文页面 - TerminalWorld：在真实终端任务中评测智能体

来源：https://huggingface.co/papers/2605.22535 作者：

,

,

,

,

,

,

,

,

,

摘要

我们提出 TerminalWorld，这是一个可扩展的数据引擎，能够自动从“真实世界“的终端记录中逆向工程出高保真的评测任务。该引擎处理了 80,870 条终端记录，生成了一个包含 1,530 个经过验证的任务的完整基准测试集，涵盖 18 个真实世界类别，从简短日常操作到超过 50 步的工作流程，并涉及 1,280 个独特命令。从中，我们精选了一个包含 200 个代表性、人工审核任务的 Verified 子集。在 TerminalWorld-Verified 上对八个前沿模型和六个智能体进行的全面评测表明，当前系统在真实终端工作流上仍面临困难，最高通过率仅为 62.5%。此外，TerminalWorld 捕捉到的真实终端能力与现有专家策划的基准测试（如 Terminal-Bench）截然不同，两者得分之间仅存在弱相关性（Pearson r = 0.20）。自动化引擎使 TerminalWorld 在构建上就具备真实性和可扩展性，从而能够在开发者实践不断演进时，在真实终端环境中评测智能体。数据和代码可在 https://github.com/EuniAI/TerminalWorld 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2605.22535)
查看 PDF (https://arxiv.org/pdf/2605.22535)
GitHub1 (https://github.com/EuniAI/TerminalWorld)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.22535)

在你的智能体中获取此论文：

hf papers read 2605.22535

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2605.22535 即可从此页面链接。

引用此论文的数据集0

无数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.22535 即可从此页面链接。

引用此论文的 Spaces0

无 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2605.22535 即可从此页面链接。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。