论文页面 - AdaPlanBench：评估大语言模型智能体在世界与用户约束下的自适应规划能力

来源：https://huggingface.co/papers/2606.05622

摘要

AdaPlanBench 是一个动态交互式基准，用于评估大语言模型智能体在多轮交互过程中，面对逐步揭示的世界约束和用户约束时进行自适应规划的能力。

语言模型在现实世界问题中的规划通常同时涉及世界约束和用户约束，而这些约束可能不会在初始阶段完全明确，而是通过交互逐步披露。然而，现有基准对在逐步揭示的双重约束条件下的自适应规划探索仍然不足。为填补这一空白，我们提出了 AdaPlanBench——一个动态交互式基准，用于评估大语言模型 (LLM) 智能体能否在逐步揭示的世界约束和用户约束下进行自适应规划与重新规划。AdaPlanBench 基于 307 个家庭任务构建，并采用可扩展的约束构建流水线，为每个任务添加双重约束。在运行时，智能体通过多轮协议与环境交互，只有当智能体提出违反隐藏约束的计划时，这些约束才会被揭示，从而要求智能体在累积反馈下进行迭代的计划修订。这使得规划任务极具挑战性，因为智能体必须从反馈中推断并跟踪约束，同时进行有效的重新规划。对十个领先 LLM 的实验表明，在双重约束下进行自适应规划仍然困难，最佳模型仅达到 67.75% 的准确率。我们进一步观察到，随着约束累积，性能下降，其中用户约束构成特别大的挑战，而失败往往源于较弱的物理基础和效果降低。这些结果使 AdaPlanBench 成为双重约束交互式规划的测试平台，并凸显了 LLM 智能体在面对动态揭示的约束时实现可靠适应的挑战。

查看 arXiv 页面 (https://arxiv.org/abs/2606.05622)
查看 PDF (https://arxiv.org/pdf/2606.05622)
GitHub (https://github.com/JiayuJeff/AdaPlanBench)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.05622)

在您的智能体中获取此论文：

hf papers read 2606\.05622

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.05622 以从此页面链接。

引用此论文的数据集1

JiayuJeff/AdaPlanBench 更新于约 3 小时前 • 6 • 1 (https://huggingface.co/datasets/JiayuJeff/AdaPlanBench)

引用此论文的 Space0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.05622 以从此页面链接。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。