论文页面 - PlanBench-XL：评估大规模工具生态系统中LLM工具使用代理的长时域规划

来源：https://huggingface.co/papers/2606.22388

摘要

PlanBench-XL 评估了大型语言模型代理在复杂工具丰富环境中的规划与适应能力，该环境具有有限可见性和动态干扰。

LLM 代理（https://huggingface.co/papers?q=LLM%20agents）越来越多地运行在庞大的工具生态系统（https://huggingface.co/papers?q=tool%20ecosystems）中，现实世界任务需要发现相关工具、推断隐性的子目标（https://huggingface.co/papers?q=implicit%20sub-goals），并在长时域（https://huggingface.co/papers?q=long%20horizons）内适应动态环境（https://huggingface.co/papers?q=dynamic%20environments）。然而，现有基准很少在受检索限制的工具可见性（https://huggingface.co/papers?q=retrieval-limited%20tool%20visibility）下评估规划（https://huggingface.co/papers?q=planning）能力。为弥补这一空白，我们提出 PlanBench-XL，一个包含 327 个零售任务、覆盖 1655 个工具的交互式基准（https://huggingface.co/papers?q=interactive%20benchmark），用于测试代理能否迭代检索可用工具、调用工具以揭示达成最终目标所需的中间证据。PlanBench-XL 还引入了可选的阻塞机制（https://huggingface.co/papers?q=blocking%20mechanism），通过缺失、失效或干扰的工具功能模拟现实世界中的不可预测性，迫使代理在运行时检测中断路径并适应。对十个领先 LLM 的实验表明，大规模工具的规划（https://huggingface.co/papers?q=planning）仍具挑战性：GPT-5.4 在无阻塞设置下准确率达 51.90%，但在最严重阻塞条件下骤降至 11.36%。进一步分析显示，当故障缺乏明确错误信号或恢复需要更长的替代工具使用路径（https://huggingface.co/papers?q=tool-use%20paths）时，代理尤其脆弱。这些结果确立了 PlanBench-XL 作为诊断代理规划（https://huggingface.co/papers?q=agentic%20planning）失败的测试平台，凸显了在大型且不完美的工具环境中进行长时域任务时，鲁棒自适应规划（https://huggingface.co/papers?q=planning）的必要性。

查看 arXiv 页面（https://arxiv.org/abs/2606.22388）查看 PDF（https://arxiv.org/pdf/2606.22388）项目页面（https://planbench-xl.github.io/）GitHub2（https://github.com/JiayuJeff/PlanBench-XL）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.22388）

将本论文放入您的代理中：

hf papers read 2606.22388

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

暂无模型引用本论文

在模型 README.md 中引用 arxiv.org/abs/2606.22388 即可从本页链接。

引用本论文的数据集0

暂无数据集引用本论文

在数据集 README.md 中引用 arxiv.org/abs/2606.22388 即可从本页链接。

引用本论文的 Spaces0

暂无 Space 引用本论文

在 Space README.md 中引用 arxiv.org/abs/2606.22388 即可从本页链接。

包含本论文的收藏集0

暂无收藏集包含本论文

将本论文添加到收藏集（https://huggingface.co/new-collection）即可从本页链接。