论文页面 - 阅读正确，行动错误：诊断 Agent 循环中系统一模型的决策失败

来源：https://huggingface.co/papers/2610.18579

摘要

系统一模型通过对一组给定选项进行单次评分来决定 agent 的下一个动作。这使得它们快速且成本低廉，但当它们做出错误选择时，却没有任何可供检查的东西：是模型误读了 agent 所看到的信息，还是正确解读了信息但仍然行动错误？我们从行为层面来回答这个问题。在来自模拟环境、客服策略、工具使用、网页导航和编程的冻结 agent 决策状态基准上，我们将每一个“下一步动作“问题与关于同一状态的事实性探测问题配对，每个问题都独立作答。在十七个快速系统和一个推理模型中，答案是一致的：大多数错误动作发生在正确解读之后，而且系统越准确，其错误以这种形式出现的比例就越高。这些错误不是噪声；它们在各种类型的系统中聚集在相同的状态上。当被探测的事实可证明地决定了动作时，即使模型正确读取了每一个事实，仍然无法将它们组合起来，而它们自己的回答经过代码组合后，却能修复这一失败。在真实状态中，缺失的往往不是一个事实，而是下一个子目标。

查看 arXiv 页面 (https://arxiv.org/abs/2610.18579)　查看 PDF (https://arxiv.org/pdf/2610.18579)　项目页面 (https://yubol-bobo.github.io/System_one_model_evaluation/)　添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.18579)

在你的 agent 中获取此论文：

hf papers read 2610.18579

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.18579 以从本页链接它。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.18579 以从本页链接它。

引用此论文的 Space 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.18579 以从本页链接它。

包含此论文的集合 0

没有集合包含此论文

将此论文添加到一个集合 (https://huggingface.co/new-collection) 以从本页链接它。