在行动前询问世界：预算限制下的环境探测用于世界模型校准

# 行动前先探询环境：用于世界模型校准的预算型环境探查 来源：https://arxiv.org/html/2606.31422 ## 行动前先探询世界：用于世界模型校准的预算型环境探查 Xinyuan Song¹ Zekun Cai²,³ ¹埃默里大学，美国佐治亚州亚特兰大 ²东京大学，日本东京 ³LocationMind，日本东京 [email protected], [email protected] ###### 摘要 长周期语言智能体不仅选择行动；它们还会在决策过程中携带一个私有的世界模型。当该模型发生漂移时，后续的失败可能在失败行动实际发生之前就已经注定。我们研究了一种直接的修复机制：在承诺执行下一个任务行动之前，智能体可以就一个信念字段向环境提问，并将答案写回其世界模型。这使得环境交互成为一种稀缺的校准资源，而不仅仅是推进任务的一种方式。我们引入了 EnvProbe，一个用于结构化信念表的预算型探查算子。有用的探查并非处处相同。程序性信念（如工具依赖关系）通常可以通过有针对性的检查来修复，但这些检查会消耗任务可能需要的步骤。空间性信念（如物体位置和图边）更多地依赖结构线索；当世界在屏幕之外发生变化时，智能体自身的置信度可能成为一个糟糕的指南。一种按类型分层分析的形式化刻画了这个探查-行动边界，受控实验表明，当探查策略遵循任务结构时，规划中的环境证据能减少终端世界模型误差。代码和环境可在 github.com/Hik289/Environment-reduce-error (https://github.com/Hik289/Environment-reduce-error.git) 获取。 ## 1 引言 语言智能体越来越多地通过携带状态来工作。它们记住哪个工具已被初始化、某个物体上次出现在哪里、哪个前提条件已满足、以及图中哪条边可通行。这个运行中的模型在推理与行动智能体（如 ReAct、Reflexion 和 LATS）中是隐式的 (Yao et al., 2023 (https://arxiv.org/html/2606.31422#bib.bib6); Shinn et al., 2023 (https://arxiv.org/html/2606.31422#bib.bib7); Zhou et al., 2024a (https://arxiv.org/html/2606.31422#bib.bib11))，在许多工具使用和具身系统中是显式的 (Schick et al., 2023 (https://arxiv.org/html/2606.31422#bib.bib12); Qin et al., 2024 (https://arxiv.org/html/2606.31422#bib.bib13); Huang et al., 2022 (https://arxiv.org/html/2606.31422#bib.bib8); Ahn et al., 2022 (https://arxiv.org/html/2606.31422#bib.bib9))，并且在最近的 Web 和长周期基准测试中处于核心地位 (Shridhar et al., 2021 (https://arxiv.org/html/2606.31422#bib.bib15); Wang et al., 2022 (https://arxiv.org/html/2606.31422#bib.bib25); Zhou et al., 2024b (https://arxiv.org/html/2606.31422#bib.bib16); Deng et al., 2023 (https://arxiv.org/html/2606.31422#bib.bib17); Luo et al., 2025 (https://arxiv.org/html/2606.31422#bib.bib24))。其循环很简单：基于模型推理、行动、观察，然后继续。它也很脆弱，因为推理步骤默认假设模型仍然足够接近环境。长周期使这一假设变得脆弱。即使每一步的局部生成看起来合理，模型也可能会漂移：认为已加载的工具可能变得不可用；认为在房间里的钥匙可能已移动；看起来开放的道路现在可能被阻塞。一旦智能体基于过时的前提进行规划，尽管失败实际上始于信念状态，但最终的错误看起来就像一个糟糕的最终行动 (Wang et al., 2026 (https://arxiv.org/html/2606.31422#bib.bib23); Luo et al., 2025 (https://arxiv.org/html/2606.31422#bib.bib24))。这是一种不同于思维链不足或工具选择不当的失败模式。智能体可能拥有正确的高级计划，但执行计划的世界却是错误的。环境本身包含缺失的证据。智能体可以询问某个特定字段是否仍然为真，就像软件系统可以查询 API、机器人可以再次查看抽屉、或 Web 智能体可以在执行依赖步骤之前重新打开页面一样。问题不在于更多信息在抽象意义上是否有用。每次检查都会消耗与推进任务行动相同的有限视野。探查过少的智能体自信地基于过时信念行动；探查过多的智能体则将整个回合花费在验证世界上，而不是改变世界。同样的张力出现在经典的 Partially Observable MDP 规划与信息价值方法中 (Kaelbling et al., 1998 (https://arxiv.org/html/2606.31422#bib.bib35); Ross et al., 2008 (https://arxiv.org/html/2606.31422#bib.bib36); Chaloner and Verdinelli, 1995 (https://arxiv.org/html/2606.31422#bib.bib37); Golovin and Krause, 2011 (https://arxiv.org/html/2606.31422#bib.bib38))，但语言智能体的世界模型增加了一个新的变数：信念状态是由模型编写的符号表，而可用的探查信号包括置信度和新鲜度等嘈杂的自我报告。先前的工作表明，这种置信度可能有用但校准不佳 (Guo et al., 2017 (https://arxiv.org/html/2606.31422#bib.bib39); Kadavath et al., 2022 (https://arxiv.org/html/2606.31422#bib.bib40))；我们的问题是它何时应该控制环境查询。 我们引入了 EnvProbe，一个用于具有显式结构化信念表的语言智能体的探查算子。在每个规划步骤中，EnvProbe 使用任务结构、信念新鲜度、言语化置信度和依赖角色来给候选字段评分。选中的探查返回该字段的当前环境值，并在下一个计划形成之前更新世界模型。与检索增强、反思或向用户询问缺失信息不同 (Shinn et al., 2023 (https://arxiv.org/html/2606.31422#bib.bib7); Hu et al., 2024 (https://arxiv.org/html/2606.31422#bib.bib1); Fang and Ke, 2025 (https://arxiv.org/html/2606.31422#bib.bib2); Dongre et al., 2024 (https://arxiv.org/html/2606.31422#bib.bib5))，EnvProbe 将环境本身视为证据来源，并询问哪个已填充的信念现在应该被验证。 实验区分了两种情形。程序性信念，如工具前提条件和子目标依赖关系，受益于有针对性的检查，因为行动轨迹提供了关于什么可能已过时的线索。然而，相同的检查会与依赖链竞争稀缺的行动槽位。空间性信念，如物体位置和图边，行为不同：结构性的任务线索仍然有用，而智能体自身的不确定性报告在外部变化在历史中很少留下痕迹时可能产生误导。 我们的贡献是： - •一种用于语言智能体结构化世界模型的预算型环境探查算子； - •一种按类型分层的数学描述，将信念修复与任务行动置换区分开来； - •受控环境和探查感知指标，能在任务成功崩溃之前暴露世界模型误差；以及 - •实证证据表明，结构性探查得分能减少终端信念误差，而自我报告的不确定性必须被视为嘈杂信号而非可靠神谕。 参见图注 图 1：探查-行动预算权衡。长周期智能体可以在规划期间利用环境修复过时的世界模型字段。收益取决于信念类型：程序性字段更容易定位，但更容易受到行动置换的影响；而空间性字段通常更青睐结构性探查而非自我报告的不确定性。 ## 2 相关工作 ##### 具有隐式或显式状态的 LLM 智能体。ReAct、Reflexion、Toolformer、ToolLLM 和 LATS 建立了现在标准的模式，即语言推理与环境或工具行动交错进行 (Yao et al., 2023 (https://arxiv.org/html/2606.31422#bib.bib6); Shinn et al., 2023 (https://arxiv.org/html/2606.31422#bib.bib7); Schick et al., 2023 (https://arxiv.org/html/2606.31422#bib.bib12); Qin et al., 2024 (https://arxiv.org/html/2606.31422#bib.bib13); Zhou et al., 2024a (https://arxiv.org/html/2606.31422#bib.bib11))。具身系统和 Web 智能体进一步将语言计划锚定在可负担性或交互式接口上 (Huang et al., 2022 (https://arxiv.org/html/2606.31422#bib.bib8); Ahn et al., 2022 (https://arxiv.org/html/2606.31422#bib.bib9); Wang et al., 2024 (https://arxiv.org/html/2606.31422#bib.bib20); Zhou et al., 2024b (https://arxiv.org/html/2606.31422#bib.bib16))。这些系统通过观察、执行轨迹、反思或记忆来更新状态，但它们没有将*探查*孤立为一种预算型行动，其唯一目的是修复结构化信念表。最近关于记忆-环境重新对齐和规则增强记忆的工作认识到相关的漂移现象 (Yin and Du, 2026 (https://arxiv.org/html/2606.31422#bib.bib3); Yuan et al., 2026 (https://arxiv.org/html/2606.31422#bib.bib4))，而 EnvProbe 研究选择问题：当只有少数检查可负担时，应该检查哪个字段？ ##### 部分可观测下的信息收集。经典的 POMDP 提供了部分可观测下信念状态规划的形式化描述 (Kaelbling et al., 1998 (https://arxiv.org/html/2606.31422#bib.bib35); Ross et al., 2008 (https://arxiv.org/html/2606.31422#bib.bib36))。贝叶斯实验设计和自适应子模性形式化了信息价值和不确定性下的贪心选择 (Chaloner and Verdinelli, 1995 (https://arxiv.org/html/2606.31422#bib.bib37); Golovin and Krause, 2011 (https://arxiv.org/html/2606.31422#bib.bib38); Krause and Golovin, 2014 (https://arxiv.org/html/2606.31422#bib.bib41))。EnvProbe 继承了同样的信息-行动张力，但在两个方面有所不同：信念状态是由 LLM 维护的符号字段集合，而选择器使用新鲜度和置信度等嘈杂的自我报告。这使得代理质量（surrogate quality）问题既是实证的也是数学的。 ##### LLM 不确定性与置信度校准。现代神经预测器通常校准不佳 (Guo et al., 2017 (https://arxiv.org/html/2606.31422#bib.bib39))，而语言模型有时可以估计答案有效性，但在分布偏移或开放式生成下仍会失败 (Kadavath et al., 2022 (https://arxiv.org/html/2606.31422#bib.bib40))。UoT 使用模型估计的不确定性来提问信息性问题 (Hu et al., 2024 (https://arxiv.org/html/2606.31422#bib.bib1))；InfoSeeker 在部分可观测下规划信息收集 (Fang and Ke, 2025 (https://arxiv.org/html/2606.31422#bib.bib2))；ReSpAct 增加了用于澄清的发言动作 (Dongre et al., 2024 (https://arxiv.org/html/2606.31422#bib.bib5))。我们的设置不同：智能体不是向用户询问缺失的事实，而是决定是否花费稀缺的环境动作来验证一个已经填充的信念字段。在我们的环境中测量的自信-错误率促使我们对仅基于不确定性的探查提出一个形式化的未覆盖界限（命题 5.5 (https://arxiv.org/html/2606.31422#S5.Thmtheorem5)）。 ##### 智能体基准与评估指标。诸如 ALFWorld、WebArena、VisualWebArena、Mind2Web、AgentBench 和 UltraHorizon 等基准评估长周期或交互式智能体 (Shridhar et al., 2021 (https://arxiv.org/html/2606.31422#bib.bib15); Zhou et al., 2024b (https://arxiv.org/html/2606.31422#bib.bib16); Koh et al., 2024 (https://arxiv.org/html/2606.31422#bib.bib18); Deng et al., 2023 (https://arxiv.org/html/2606.31422#bib.bib17); Liu et al., 2023 (https://arxiv.org/html/2606.31422#bib.bib19); Luo et al., 2025 (https://arxiv.org/html/2606.31422#bib.bib24))。它们主要报告任务完成情况，这是正确的最终指标，但使得诊断失败是来自过时信念、无效计划还是执行变得困难。我们的环境暴露了黄金字段状态，因此可以测量世界状态准确性、有用探查率和崩溃开始点，以及任务成功。 ##### 定位。EnvProbe 通过将环境检查视为 LLM 智能体中的一级预算型行动来连接这些线索。本文的贡献不是一个新的 POMDP 求解器；而是对 LLM 派生探查得分何时可靠、何时误导以及这种可靠性如何随信念类型变化的实证和理论刻画。 ## 3 问题设定 我们考虑一个维护显式*信念世界模型*的长周期语言智能体。该模型是一个结构化表格，而非原始的对话记录：每个字段记录一个事实，该事实可以被查询、被规划器使用，并与环境真实情况进行比较。 ##### 信念字段与准确性。令 F={1,...,n} 为信念字段集合。字段 i 取值于 V_i。在步骤 t∈{0,...,H} 时，环境具有黄金值 g_t^i ∈ V_i，而智能体存储信念 b_t^i ∈ V_i。终端世界状态准确性为 A_H = (1/n) Σ_{i=1}^n 1{b_H^i = g_H^i}。 (1) 任务成功是一个独立事件：智能体可能拥有更准确的世界模型，但如果花费太多行动检查世界，仍然可能失败。 ###### 定义 3.1 (探查 API)。在步骤 t，Probe(i) 返回当前黄金值 g_t^i 并更新 b_{t+1}^i ← g_t^i。一次探查消耗一个环境步骤，并且不执行任务动作。每个回合有视野 H 和探查预算 B = ⌊H/4⌋。 ###### 定义 3.2 (信念类型分类)。我们将字段划分为程序性类型和空间性类型，F = F_proc ⊔ F_spat。程序性字段编码依赖于行动的状态，如工具依赖关系、子目标完成情况和库存。空间性字段编码外部状态，如物体位置、门状态和图边。这种区分很重要，因为行动轨迹对程序性变化信息量大，但对外部空间变化信息量小。 ##### 探查策略。一个策略在每个步骤要么选择一个任务动作，要么选择一个探查。我们比较 No-Probe、Random-Probe、Periodic-Probe、Self-Uncertainty、EnvProbe-Simple、EnvProbe-Judge 和 Oracle-Probe。随机和周期策略是非自适应感知基线；Self-Uncertainty 遵循主动学习中的不确定性采样直觉 (Lewis and Gale, 1994 (https://arxiv.org/html/2606.31422#bib.bib26); Settles, 2009 (https://arxiv.org/html/2606.31422#bib.bib27)) 以及置信度校准文献 (Guo et al., 2017 (https://arxiv.org/html/2606.31422#bib.bib39); Kadavath et al., 2022 (https://arxiv.org/html/2606.31422#bib.bib40))。Oracle-Probe 使用黄金失配，仅作为上界诊断报告。 参见图注 图 2：EnvProbe 流程。智能体在环境演变的同时维护一个结构化信念表。在执行下一个任务动作之前，EnvProbe 对候选字段进行评分，当得分和预算允许时探查高价值字段，并将返回的环境值写回世界模型。同一个视野支付探查和行动，产生第 5 节 (https://arxiv.org/html/2606.31422#S5) 分析中的信念准确性/任务成功边界。 ## 4 EnvProbe：规划中的环境证据 ### 4.1 评分信念字段 EnvProbe 给每个字段分配一个探查得分 ρ_i(t) = c_i + s_i(t) + u_i(t) + d_i(t)， (2) 其中所有组成部分...