系统切换：快速决策模型何时应停下来思考？

Hugging Face Daily Papers 论文
dual-process-agents vision-language-models decision-making deferral-gating reinforcement-learning real-time-games calibration

摘要

论文研究了在实时环境中，快速决策模型何时应将控制权交给慢速推理的视觉-语言模型的双系统智能体架构。通过 Doom 游戏闭环实验，发现决策模型的置信度校准与 AUROC 能有效预测延迟决策带来的收益，并开源了代码、提示词与数据。

双过程智能体将快速策略与慢速深思模型相结合。在实时场景中，慢速模型通常持续运行；而在回合制智能体和机器人规划器中，它仅在不确定性或检测到失败等事件触发时才被调用。本文研究了一种快速学习型执行器：它负责每一个决策，仅在门控开启时才将控制权交给推理视觉-语言模型，而游戏始终在运行。我们采用 Doom 闭环实验和新型开源的 "System One" 类型化决策模型，通过统一的 llama.cpp 接口进行服务。在 900 道留出问题上，我们发现：(i) 参数量从 0.15B 到 9B 的零样本决策模型，在其错误中选择收集物品的概率是随机选择的 1.6-1.8 倍，且这一规律不受选项顺序影响，尽管顺序会改变某些模型的准确率；(ii) 准确率、校准度和敏感度（置信度区分正确与错误回答的能力）是三个不同的维度：准确率相近的模型在 AUROC 上差异显著，而最敏感模型的置信度反映的是它在何种情境下失败，而非哪些回答是错误的；(iii) 离线实验中，将置信度最低的 30% 决策延迟给推理模型，其收益与执行器的 AUROC 成正比（秩相关系数 0.87）；在留出游戏上选定执行器和延迟比例后，使用 doomLaya 的选项顺序时增益为 +0.13 [0.08, 0.18]，使用打乱选项顺序时为 +0.08 [0.02, 0.14]，其中推理模型贡献了约一半的增益；(iv) 在闭环实验（33 局游戏，三个随机种子）中，没有一个变体能够抵达出口。坚持执行计划——无论是推理模型的计划还是固定探索规则——可以打开更多门，并让原本原地不动的执行器"动起来"；但采用规则时智能体的死亡率更高。在告知推理模型某些门需要钥匙的情况下，推理模型会将普通门误认为上锁的门，而状态信息无法区分两者；在没有该知识的情况下，它会退回到收集物品的策略。我们开源了代码、提示词、数据和日志。
查看原文
查看缓存全文

缓存时间: 2026/10/08 15:58

论文页面 - System Switch：快速决策模型何时应该停下来思考？

来源：https://huggingface.co/papers/2610.09683

摘要

双过程智能体将快速策略与慢速审议模型相结合。在实时场景中，慢速模型通常持续运行；而在回合制智能体和机器人规划器中，它只在不确定性或检测到失败等事件触发时才被调用。我们研究了一种快速的已学习执行器（actor），它负责做出每一个决策，仅在闸门（gate）打开时才将控制权交给推理视觉-语言模型，而与此同时游戏仍在继续运行。我们使用了闭环 Doom 游戏环境，以及通过统一的 llama.cpp 接口提供的新型 “System One” 型快速决策模型。在 900 个留出测试问题上：(i) 参数量从 0.15B 到 9B 的零样本决策模型，在其错误中选择收集物品的比例是随机水平的 1.6 至 1.8 倍，无论选项顺序如何，尽管顺序变化会改变某些模型的准确率；(ii) 准确率、校准度和敏感度（置信度区分正确与错误答案的能力）是三个不同的维度：准确率相近的模型在 AUROC 上差异很大，且最敏感模型的置信度反映的是它在哪类情境下失败，而不是哪些具体答案是错误的；(iii) 在离线设置下，将置信度最低的 30% 决策让渡给推理模型，其增益与执行器的 AUROC 成正比（秩相关系数为 0.87）；当执行器和让渡比例均在留出游戏上选定后，使用 doomLaya 选项顺序时增益为 +0.13 [0.08, 0.18]，使用打乱顺序的选项时增益为 +0.08 [0.02, 0.14]，其中推理模型贡献了约一半的增益；(iv) 在闭环设置下（33 局游戏、3 个随机种子），没有任何变体能够到达出口。承诺执行某个计划——无论是推理模型的计划还是一条固定的探索规则——可以打开更多门，并让原本原地不动的执行器开始行动；但在使用固定规则时，智能体的死亡率更高。在告知推理模型某些门需要钥匙后，推理模型会将普通的门误认为是上锁的门（而状态信息无法区分两者）；在没有该知识的情况下，它则会回去继续收集物品。我们已开源代码、提示词、数据和日志。

查看 arXiv 页面　查看 PDF　项目页面　GitHub　加入收藏

引用此论文的模型 0

暂无关联此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.09683，即可将此论文链接到该页面。

引用此论文的数据集 0

暂无关联此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.09683，即可将此论文链接到该页面。

引用此论文的 Spaces 0

暂无关联此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.09683，即可将此论文链接到该页面。

包含此论文的合集 0

暂无包含此论文的合集

将此论文添加到合集中，即可将此论文链接到该页面。

相似文章

Microsoft-Decision-1，我们的快速决策模型

Hacker News Top

微软发布 Microsoft-Decision-1，一个专为快速决策打分设计的模型，可用于路由、分类、优先级排序与工作流控制，基于 Qwen3.5-9B 后训练，在 36 项基准测试中取得最高准确率，延迟比 GPT-6 Sol 快约 35 倍。

@rohanpaul_ai：北京大学与三星的最新论文显示，慢速推理模型可以离线指导快速模型，将其实时游戏得分从 13.51 提升到 24.19

X AI KOLs Following

北京大学与三星的最新论文提出 RealtimeBench（6 款游戏、180 个实时任务）与 TORSI 方法，让慢速推理模型在局间离线分析快速模型的失败并生成指令，使快速模型在实时游戏中的平均分从 13.51 提升到 24.19。研究揭示了在世界持续运行的实时场景中，慢速强推理模型反而会落后于快速模型的问题。