论文页面 - 哪里出了错？基于语义状态追踪的Web智能体过程级评估

来源：https://huggingface.co/papers/2606.15673

摘要

WebStep基准通过语义MDP追踪实现了Web智能体的过程级分析，揭示了终端成功指标所遗漏的细致性能差异与错误定位。

Web智能体通过长交互序列执行操作，然而现有基准仅评估终端成功，丢弃了所有过程信息，对改进提供的指导甚少。在这项工作中，我们对Web智能体进行了过程级分析。我们引入了WebStep，一个包含1800个任务实例的基准，具有受控难度和自动语义状态追踪。每个网站除了GUI外还暴露了一个确定性语义MDP：智能体在界面上操作，而环境在后台记录高层级状态和转换，无需人工标注即可进行细粒度分析。基于语义轨迹，我们首先展示了过程度量能揭示结果评估无法看见的差异：三个成功率在31-33%范围内聚集的智能体在探索覆盖范围与执行精度上存在分歧。然后，按技能分解刻画了这些差异的本质，揭示了同一网站内部隐藏的每技能排名反转：例如，在Housing上，OpenAI CUA在提交操作上优于Qwen3.5 23.7%，但在过滤操作上却低于它15.6%，精准指出了即使在单个领域内也需改进的具体技能。分岔分析进一步定位了导致任务失败的决策性错误，并显示该错误是智能体特定的而非共享的。最后，随着任务难度增加，这些差异扩大：简单任务上成功率相近，但在探索需求加剧时迅速分化。我们的过程级分析为Web智能体评估开辟了新途径，提供了关于每个智能体应在何处以及如何改进的细粒度、可操作见解。

查看arXiv页面 (https://arxiv.org/abs/2606.15673)查看PDF (https://arxiv.org/pdf/2606.15673)项目页面 (https://jiwanchung.github.io/webstep/)加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.15673)

在您的智能体中获取这篇论文：

hf papers read 2606.15673

没有最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型0

暂无模型链接该论文

在模型 README.md 中引用 arxiv.org/abs/2606.15673 即可从本页面链接。

引用该论文的数据集0

暂无数据集链接该论文

在数据集 README.md 中引用 arxiv.org/abs/2606.15673 即可从本页面链接。

引用该论文的Spaces0

暂无Space链接该论文

在Space README.md 中引用 arxiv.org/abs/2606.15673 即可从本页面链接。

包含该论文的收藏0

暂无收藏包含该论文

将这篇论文添加到一个收藏 (https://huggingface.co/new-collection)中即可从本页面链接。