论文页面 - 判断正确，建议糟糕：决策模型控制器推高 Agent 成本却未能提升成功率

来源：https://huggingface.co/papers/2610.24649

摘要

在固定节点调用的类型化决策模型提高了智能体成本，却没有提升成功率，尽管它对完成请求的排序更好，但校准不佳。

智能体脚手架正日益将小型决策（是否停止、是否验证、是否改变方法）委托给更廉价的模型。我们提出的问题是：一个类型化决策模型（https://huggingface.co/papers?q=typed%20decision%20model）Jev 1.13，仅在确定性决策节点（https://huggingface.co/papers?q=deterministic%20decision%20points）被调用时，能否让 Claude Sonnet 5.5 终端智能体（https://huggingface.co/papers?q=terminal%20agent）变得更便宜，同时不损害其表现。在 Terminal-Bench 2.1 上开展的预先指定的研究中，我们固定唯一的智能体循环，只改变控制器（https://huggingface.co/papers?q=controller）：无控制器、确定性规则、一个回答相同问题的小型 LLM（https://huggingface.co/papers?q=small%20LLM）（Claude Haiku 5.5）、Jev，以及一个安慰剂（https://huggingface.co/papers?q=placebo）——它在相同时刻采样 Jev 开发阶段的选择频率。在 21 个留出任务（315 次试验）上，Jev 将每次尝试的成本提高了 19%（几何均值比率 1.19，95% 置信区间 1.02–1.36），而通过率完全相同（73.0% vs. 73.0%）。Jev 比小型 LLM 控制器（https://huggingface.co/papers?q=controller）更便宜（比率 0.81），但比安慰剂（https://huggingface.co/papers?q=placebo）贵 22%，且各组之间的通过率差异无法检出。离线评估中，Jev 对完成请求的排序优于其他方案（AUROC（https://huggingface.co/papers?q=AUROC）0.78，规则为 0.62，小型 LLM（https://huggingface.co/papers?q=small%20LLM）为 0.60），但校准很差：对于那些实际通过的任务，它判定“运行已完成“的平均概率仅为 0.50，而这些运行中实际有 87% 通过了，因此它让智能体去验证本来已经正确的成果。没有任何控制器（https://huggingface.co/papers?q=controller）选择放弃某次运行。有信息量的决策信号并没有成为有效的干预手段；我们讨论了要做到这一点需要什么条件。

查看 arXiv 页面 (https://arxiv.org/abs/2610.24649)　查看 PDF (https://arxiv.org/pdf/2610.24649)　GitHub0 (https://github.com/namanvats/decision-model-controllers)　加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.24649)

在你的智能体中获取这篇论文：

hf papers read 2610.24649

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有模型关联本文

在模型 README.md 中引用 arxiv.org/abs/2610.24649，即可从本页面链接到该模型。

引用本文的数据集0

没有数据集关联本文

在数据集 README.md 中引用 arxiv.org/abs/2610.24649，即可从本页面链接到该数据集。

引用本文的 Spaces0

没有 Space 关联本文

在 Space README.md 中引用 arxiv.org/abs/2610.24649，即可从本页面链接到该 Space。

包含本文的合集0

没有合集包含本文

将本文加入合集 (https://huggingface.co/new-collection)，即可从本页面链接到该合集。