@dair_ai: PwC 的一篇精彩论文。在智能体澄清方面,“越早越好”一直是默认直觉。新论文声称这……
摘要
来自 PwC 的一篇新论文挑战了智能体澄清中“越早越好”的直觉。研究通过一个强制注入框架表明,目标澄清的价值会迅速流失,而输入澄清则在更长的时间内保持有用。该研究提供了关于智能体何时应提问的定量需求曲线,揭示了当前前沿模型经常在错误的时机进行澄清。
查看缓存全文
缓存时间: 2026/05/12 08:48
普华永道(PwC)发布的一篇精彩论文。在智能体澄清机制中,“越早越好”一直是默认的直觉。但这篇新论文声称这种观点大多是错误的。目标澄清在执行开始后短短10%的时间内就会丧失几乎所有价值。研究团队构建了一个强制注入框架,在长周期智能体轨迹的控制点上注入真实澄清信息,跨越4个信息维度(目标、输入、约束、上下文)、3个基准测试以及4个前沿模型。共涵盖84种任务变体,进行6,000多次运行。Pass@3从0.78跌落回基线水平。输入澄清的价值则能维持到大约50%的进度。一旦超过轨迹中期,提出任何澄清问题的表现都比从未提问更差。一项针对300次非脚本化会话的补充研究表明,目前没有任何前沿模型会在经验上最佳的窗口期内提问。52%的会话存在过度提问现象,而其他会话则完全不提问。为何这很重要:澄清一直被视为一种二元能力——智能体要么提问,要么不问。这是首条关于“何时提问有价值”的定量需求曲线。论文:https://arxiv.org/abs/2605.07937 在我们的学院学习如何构建高效的AI智能体:https://academy.dair.ai
早问、晚问、恰当时机问:澄清时机对长周期智能体何时重要?
来源:https://arxiv.org/html/2605.07937 Anmol Gulati, Hariom Gupta, Elias Lumer, Sahil Sen, Vamse Kumar Subbiah, 普华永道美国分部
摘要
长周期AI智能体执行跨越数百个连续动作的复杂工作流,然而早期单个错误的假设可能会导致不可逆转的错误级联。当指令不完整时,智能体不仅必须决定是否请求澄清,还要决定何时请求澄清,而此前没有任何工作衡量过澄清价值在执行过程中的变化。我们引入了一个强制注入框架,在智能体轨迹的控制点提供真实澄清信息,覆盖四个信息维度(目标、输入、约束、上下文)、三个智能体基准测试以及四个前沿模型(每个基准测试使用三个模型;仅在一个基准测试上使用一个模型;84种任务变体;6,000多次运行)。与“越早越好”的普遍直觉相反,我们发现澄清的价值强烈取决于缺失信息的类型:目标澄清在执行10%后几乎失去所有价值(pass@3从0.78降至基线水平),而输入澄清的价值可维持至约50%。将任何类型的澄清推迟到轨迹中期之后,其性能表现甚至低于从未提问。跨模型的Kendall τ相关系数(在任务覆盖范围相同的模型间为0.78–0.87;在整个4模型面板中为0.34–0.67)证实,这些时序特征在很大程度上是任务固有的。一项针对300次非脚本化会话的补充研究表明,当前没有前沿模型会在经验上最佳的窗口期内提问,策略范围从过度提问(52%的会话)到完全不提问不等。这些实证需求曲线为现有理论框架提供了其急需但缺乏的定量基础,并为时序敏感的澄清策略确立了具体的设计目标。代码和数据将公开发布。
1 引言
长周期AI智能体现在执行跨越代码修复、企业自动化和工具编排的复杂多步工作流,通常只需极少的人类监督即可完成数十至数百个连续动作(Yao et al., 2023; Xue et al., 2024; Jimenez et al., 2024; Bandy et al., 2026; Lumer et al., 2026a)。当用户指令不完整时,这些智能体面临一个根本性的决策:在不确定性下继续执行,还是暂停以请求澄清。考虑一个被指派生成季度报告的企业智能体,它在意识到用户意指的是财政季度而非日历季度之前,花费了30个动作构建了错误的表格。如果在第二步提出一个澄清问题,本可以完全避免这些浪费的工作。这一决策的成本随轨迹长度成比例增加,因为基于错误假设采取的每个额外动作都会增加不可逆转错误和计算浪费的风险(Lumer et al., 2026b)。
最近的基准测试表明,规格不足 consistently 降低智能体性能,而澄清通道能够实现部分恢复(Pue et al., 2026; Elfeki et al., 2026),但现有工作将澄清视为一种二元能力:智能体要么能问,要么不能问。LHAW(Pue et al., 2026)和HiL-Bench(Elfeki et al., 2026)均未解决时间维度问题,尽管LHAW的故障模式分析独立地将时机识别为问题,发现智能体在轨迹的不当时间点提问。经典的信息价值理论(Howard, 1966)和人机交互中断研究(Adamczyk and Bailey, 2004; Mark et al., 2008)均预测澄清益处应随时间变化,但对于现代LLM智能体,尚不存在对此交互作用的实证测量。提问过早存在询问尚未观察到的上下文中可推断信息的风险。提问过晚意味着智能体已基于错误假设采取了不可逆转的行动。
我们通过强制注入框架隔离纯时间效应,该框架在受控的轨迹点提供真实澄清,独立于智能体检测歧义的能力,跨越84种规格不足的任务变体、三个基准测试和四个前沿模型(图1)。我们的实验得出两个挑战关于澄清时机常见假设的发现。首先,澄清的价值并非简单的“越早越好”;它强烈取决于缺失信息的类型,其中目标澄清在执行10%后几乎失去所有价值,而输入澄清的价值可维持至约50%。其次,尽管存在这种结构,当前没有任何前沿模型会自然地针对任何维度在经验上最佳的窗口期内提问,策略范围从过度提问(52%的会话)到完全不提问。
我们的贡献包括:
- 我们确立了澄清时机与信息维度强烈交互:目标信息具有狭窄的早期窗口(≤10%的执行进度),输入信息在~50%内可恢复,约束益处取决于是否存在预言机差距,跨模型一致性(在任务覆盖范围相同的模型间Kendall τ为0.78–0.87;在更广泛面板上为0.34–0.67)证实这些特征在很大程度上是任务固有的。浪费的计算量随延迟稳步增长,提供了补充的成本衡量指标(第5节)。
- 我们量化了当前模型提问行为与这些经验上最佳窗口之间的差距:在300次非脚本化会话中,目标任务的自然提问时机严重滞后,且一个前沿模型从不提问,这为时序敏感的澄清策略确立了具体的设计目标。
参见图1标题:强制注入实验框架概述。我们在预言机校准的动作预算的控制点注入真实澄清,在四个信息维度上测量每个注入时机的任务成功率(pass@3)。
2 相关工作
先前的工作解决了澄清是否有帮助、信息在理论上何时具有价值以及智能体应如何决定提问的问题。我们发现了一个共同的盲点:没有任何工作将澄清时机作为独立变量进行变化研究。
2.1 智能体基准测试中的澄清
越来越多的工作确立了规格不足会降低智能体性能,且澄清通道能够实现部分恢复。LHAW(Pue et al., 2026)构建了跨越四个信息维度的285种规格不足的任务变体,并显示模型表现出截然不同的澄清策略。HiL-Bench(Elfeki et al., 2026)通过惩罚过度提问和遗漏升级来补充这一点。较短周期的基准测试研究了相关现象:QuestBench(Li et al., 2025)、AmbigQA(Min et al., 2020)、ClariQ(Aliannejadi et al., 2020)、UserBench(Qian and others, 2025)以及τ-bench(Yao and others, 2024)。Tamkin等人(Tamkin et al., 2023)表明任务歧义会系统地降低模型行为,Kadavath等人(Kadavath et al., 2022)确立LLM对不确定性的自我评估有限。几种方法旨在缩小这一差距:基于置信度的选择性澄清(Kuhn et al., 2023)、感知不确定性的规划(Hu et al., 2024)、执行前的主动提问(Zhang et al., 2024)以及基于模拟的问或答训练(Wu et al., 2025)。在强化学习中,求助策略(Clouse, 1996)和DAgger(Rosset al., 2011)在不确定性下查询专家,Plaut等人(Plaut et al., 2025)证明智能体必须以线性速率查询否则面临灾难风险,最近的LLM系统通过反事实训练(Liu and others, 2025)、过程奖励模型(Min et al., 2025)或交互式反馈(Pan and others, 2025)学习是否提问。所有这些都优化置信度阈值,但假设信息在轨迹的任何点都同样有用。更广泛的长周期智能体基准测试(Zhou et al., 2024; Trivedi et al., 2024; Liu et al., 2024; Xie et al., 2024; Mialon et al., 2023)同样没有变化澄清时机。
2.2 理论基础预测时机应很重要
在轨迹中期寻求澄清的决策是信息价值(VOI)问题的一个特例(Lindley, 1956; Howard, 1966):智能体是否应支付成本(中断、延迟)以在行动前减少不确定性?Russell和Wefald(Russell and Wefald, 1991)将其形式化为元推理,主动学习范式(Settles, 2009)研究何时查询预言机以最大化学习效率。在人机交互(HCI)中,Adamczyk和Bailey(Adamczyk and Bailey, 2004)证明任务结果取决于中断发生的时间,Mark等人(Mark et al., 2008)量化了时机不当中断的恢复成本。最近的工作将这些理念应用于LLM智能体:Rao和Daumé(Rao and Daumé III, 2018)应用完美信息期望值对澄清问题进行排名,Dong等人(Dong et al., 2026)提出决策论框架,Kobalczyk等人(Kobalczyk et al., 2025)将澄清视为贝叶斯实验设计,Suri等人(Suri et al., 2025)为工具调用智能体使用结构化不确定性,Lumer等人(Lumer et al., 2025a)优化多轮工具交互中的短期记忆管理,PRISM(Fu et al., 2026)学习用于主动干预的成本敏感门控。这些框架均预测澄清价值应取决于时机,但没有任何一个提供我们强制注入实验所产生的实证测量。
3 假设:轨迹承诺
我们开发了一个简单模型,预测为何澄清时机应与信息维度交互。任务由参数向量 \theta = (\theta_{\text{goal}}, \theta_{\text{input}}, \theta_{\text{con}}, \theta_{\text{ctx}}) 指定,每个维度一个分量。智能体观察到一个规格不足的版本 \tilde{\theta},其中一个分量 \theta_d 缺失,并执行轨迹 \tau = (a_1, \dots, a_T)。在注入时间 t,智能体接收 \theta_d 的真实值。我们将承诺 C_d(t) \in [0, 1] 定义为因果依赖于维度 d 的动作 a_1, \dots, a_t 的比例。时间 t 时澄清的价值受可恢复部分的限制:
\text{VOI}_d(t) \leq \text{VOI}_d(0) \cdot (1 - C_d(t)), \quad (1)
因为已承诺的动作无法撤销。因此,C_d(t) 的形状构成了每个维度的时序衰减曲线的上限;如果协调成本超过可恢复部分,实际VOI可能会衰减得更快。我们认为 C_d(t) 由于典型工作流的因果结构而以不同速率增长:目标和上下文条件化所有后续动作:早期的方法选择会级联贯穿整个轨迹,预测凹形、前置加载的承诺。输入仅影响数据依赖步骤;智能体可以通过探索部分推断输入,预测近似线性的承诺。约束施加可能在违反前不可见的规则;在没有约束知识的情况下采取的动作可能会与其积极冲突,因此晚期注入可能具有破坏性,协调成本超过信息的价值。
表1:数据集和实验设置。动作预算针对每个模型和变体进行预言机校准。总运行次数包括可用模型的所有条件和试验。 表2:评估的前沿模型。提供了API标识符以确保可复现性。澄清原型源自自然提问协议(第4.4节)。第四个模型DeepSeek V3.2仅在MCP-Atlas上进行评估(见第4.2节)。
这些预测产生了两个可证伪的假设。
H1(维度依赖的时机):目标和上下文澄清是前置加载的(VOI急剧衰减),而输入澄清逐渐衰减。 H2(约束衰减):在存在预言机差距的基准测试中,约束澄清产生的VOI随延迟下降,协调…
相似文章
知道何时提问: 分层语言代理的自我门控澄清
本文提出ActionRating,一种将澄清置于代理的动作空间内,与导航共享一个顺序标尺的公式,实现了两种信息寻求模式(强制性和机会性)。在分层分类法基准测试中,使用9个LLM的实验表明,机会性澄清提高了准确性和信息寻求效率。
@dair_ai: 关于自我改进智能体的优秀论文:
本周一篇重要的AI论文探讨了自我改进智能体是否真正发现新知识,还是仅仅在重新混合现有信息。
基于信息增益的LLM代理中的不确定性感知澄清
提出了一种目标导向的澄清框架,利用信息增益奖励训练LLM代理,在用户指令不明确的情况下提出有效的澄清问题,在仅增加少量交互开销的情况下,将任务成功率提升了3.7%。
面向LLM Agent澄清请求的不确定性分解
本文针对LLM Agent提出了一种基于提示的不确定性分解方法,将行动置信度与请求不确定性分离,使其能在未明确指定的任务中主动寻求澄清。该方法在五个LLM骨干网络上使用新的澄清增强基准进行了评估,显示出显著改进。
@lateinteraction: 智能体通常将部分上下文外部化:在编码智能体中的仓库,在RAG中的语料库,以及在RLM中的用户提示。N…
Joshua Gu的新研究表明,AI智能体在管理其上下文窗口中的一个小缓冲区作为外部上下文的缓存时表现更好,这挑战了将上下文完全推出提示符的常见做法。