追踪、排序、破解：认知工作记忆扩展语言智能体中的多跳推理

# Track, Rank, Crack: 认识工作记忆扩展语言智能体多跳推理能力

来源：https://arxiv.org/html/2607.12267

###### 摘要

能够交错进行推理与工具使用的语言智能体，在推理链变长时性能急剧下降，即使每个单独步骤都很简单。我们将此归因于*上下文稀释*：智能体的调查状态（已经确认了什么、怀疑什么、还需要什么）仅隐式地存在于不断增长的上下文窗口中，早期的发现被后续的检索结果所掩盖。我们引入了 SLEUTH，通过结构化的认识工作记忆使这种状态显式化且可操作：智能体维护与来源相关联的已确认事实、按证据排序的活跃假设，以及直接驱动下一步行动的开放问题。在五个多跳基准测试和五个已有基线上，SLEUTH 的优势随难度增加而增长，从 HotpotQA 上的 +5 分到 4 跳链上的 +11 分，无需多个回合即超越了 Reflexion。在分析剩余差距时，我们发现了*证据充分性问题*：智能体往往已经找到答案但未能做出承诺，将预算浪费在无谓的验证上。一个轻量级的承诺触发器解决了这个问题，但前提是智能体已经维护了结构化状态：相同的触发器应用于非结构化智能体毫无改善，这证明了有组织的认识状态是有效承诺的必要条件。最后，在较弱的模型上强制执行协议遵循，在最难的问题上恢复了多达 +19 分，这说明*如何组织推理*，而非原始模型能力，才是扩展多跳推理的关键要素。

## 1 引言

有效推理不仅需要具备推断能力，还需要管理已知、不确定以及尚待确定事项的能力（Baddeley，1992（https://arxiv.org/html/2607.12267#bib.bib18）；2000（https://arxiv.org/html/2607.12267#bib.bib19）；Newell和Simon，1972（https://arxiv.org/html/2607.12267#bib.bib25））。交错进行推理与工具使用的语言模型智能体（Yao等人，2023b（https://arxiv.org/html/2607.12267#bib.bib2）；Schick等人，2023（https://arxiv.org/html/2607.12267#bib.bib30））在多跳问答（Yang等人，2018（https://arxiv.org/html/2607.12267#bib.bib7）；Trivedi等人，2022（https://arxiv.org/html/2607.12267#bib.bib8）；Ho等人，2020（https://arxiv.org/html/2607.12267#bib.bib9））方面取得了显著进展，但随着推理链的增长，它们表现出一种特征性失败：能够可靠回答 2 跳问题的智能体，在面对 3 跳和 4 跳问题时性能急剧下降，即使构成子问题本身都很简单。为什么增加更多推理步骤会导致如此不成比例的困难？我们认为根本原因是*上下文稀释*——决策相关信息逐渐被累积的工具输出所淹没。虽然检索增强生成（Lewis等人，2020（https://arxiv.org/html/2607.12267#bib.bib31）；Asai等人，2024（https://arxiv.org/html/2607.12267#bib.bib34））已使单跳检索变得有效，但多跳问题加剧了这一挑战：一个 ReAct 智能体（Yao等人，2023b（https://arxiv.org/html/2607.12267#bib.bib2））必须同时关注数十个检索到的段落，同时跟踪哪些子问题已解决、哪些假设仍然可行以及下一步该调查什么。这种调查状态从未被显式化；它仅隐式地存在于不断增长的上下文窗口中，早期发现与后续检索结果争夺注意力。链越长，稀释越严重。

人类调查者——侦探、诊断专家、科学家——正是通过维护结构化的工作笔记来解决这个问题的，这些笔记将*已知*与*假设*以及*尚待确定*区分开来。这种三分结构具有双重目的：它将调查状态压缩成一份决策相关的摘要，并直接决定下一步行动（调查最高优先级的开放问题）。我们将这一洞察操作化应用于语言智能体。

我们引入SLEUTH（结构化分层证据更新假设追踪），这是一个完全通过提示实现的工作记忆框架，智能体在每次动作后维护三个类型组件：与具体来源关联的已确认事实、按证据支持排序的活跃假设，以及驱动动作选择的开放问题。通过每轮输出并更新这一结构，智能体在整个轨迹中携带显式的认识状态，而非将其隐含在上下文窗口中。这使 SLEUTH 区别于那些跨回合累积经验的记忆系统（Shinn等人，2023（https://arxiv.org/html/2607.12267#bib.bib3）；Majumder等人，2023（https://arxiv.org/html/2607.12267#bib.bib13）；Zhao等人，2024（https://arxiv.org/html/2607.12267#bib.bib21））和通过搜索更多轨迹来扩展测试时计算的方法（Yao等人，2023a（https://arxiv.org/html/2607.12267#bib.bib4）；Zhou等人，2024（https://arxiv.org/html/2607.12267#bib.bib10）；Snell等人，2025（https://arxiv.org/html/2607.12267#bib.bib14））：SLEUTH 是在单条轨迹内组织信息，不需要额外的回合、搜索或训练。

我们的主要贡献包括：

- • 我们引入了 SLEUTH，使智能体的认识状态*显式且可操作*：已确认事实、排序后的假设以及直接驱动下一步行动的开放问题。与通过代码执行、符号控制器或训练来外化状态的方法不同，SLEUTH 仅需提示。
- • 我们表明这种结构化状态带来的收益*随推理难度增加而扩大*——在五个基准测试的五个已有基线上，从 HotpotQA 的 +4.7 分增加到 4 跳链上的 +10.9 分——并且无需多个回合即超越了 Reflexion。
- • 我们识别了*证据充分性问题*：智能体收集了足够证据但在计算资源有限的情况下未能做出承诺。我们的承诺机制解决了这个问题，但仅在与结构化状态结合时有效——将 SLEUTH 提升两位数的相同触发器应用于非结构化智能体毫无改善，这证明了有组织的认识状态是必要条件。
- • 我们确立了*协议遵循*而非模型能力是关键要素：在较弱的模型（GLM-5）上强制执行一致的工作记忆维护，在最难的问题上恢复了多达 +19 分。

## 2 相关工作

#### 智能体推理与多跳检索。
ReAct（Yao等人，2023b（https://arxiv.org/html/2607.12267#bib.bib2））确立了交错思考-动作范式，但将智能体的认识状态隐含在增长的上下文中。思维链（Wei等人，2022（https://arxiv.org/html/2607.12267#bib.bib1））及其变体（Wang等人，2023（https://arxiv.org/html/2607.12267#bib.bib22）；Khot等人，2023（https://arxiv.org/html/2607.12267#bib.bib24）；Zhou等人，2023（https://arxiv.org/html/2607.12267#bib.bib29））改善了单轮推理，但不能跨轮追踪信念。Self-Ask（Press等人，2023（https://arxiv.org/html/2607.12267#bib.bib6））顺序分解问题但缺乏持久状态；IRCoT（Trivedi等人，2023（https://arxiv.org/html/2607.12267#bib.bib5））将检索与思维链交错，但既不表示已确认的内容也不表示仍待解决的问题。近期的工作训练迭代检索-推理策略（Wang等人，2025（https://arxiv.org/html/2607.12267#bib.bib38）；Li等人，2025a（https://arxiv.org/html/2607.12267#bib.bib39）；Jin等人，2025（https://arxiv.org/html/2607.12267#bib.bib43））或增加多智能体回溯（Zhao等人，2025（https://arxiv.org/html/2607.12267#bib.bib50）），改善了检索集成但缺乏显式认识状态。Reflexion（Shinn等人，2023（https://arxiv.org/html/2607.12267#bib.bib3））增加了回合后自我反思但需要多个回合；思维树（Yao等人，2023a（https://arxiv.org/html/2607.12267#bib.bib4））和 LATS（Zhou等人，2024（https://arxiv.org/html/2607.12267#bib.bib10））通过轨迹搜索扩展测试时计算。SLEUTH 是互补的，在单条轨迹内改善推理质量。

#### 智能体记忆与状态管理。
CoALA（Sumers等人，2024（https://arxiv.org/html/2607.12267#bib.bib11））提供了带有模块化记忆类型的认知架构框架；MemGPT（Packer等人，2023（https://arxiv.org/html/2607.12267#bib.bib12））通过受操作系统启发的分页管理上下文。CLIN（Majumder等人，2023（https://arxiv.org/html/2607.12267#bib.bib13））、ExpeL（Zhao等人，2024（https://arxiv.org/html/2607.12267#bib.bib21））和 A-Mem（Xu等人，2025（https://arxiv.org/html/2607.12267#bib.bib37））学习或进化跨回合知识，而 SLEUTH 维护的是前瞻性的回合内状态。HiAgent（Hu等人，2025（https://arxiv.org/html/2607.12267#bib.bib27））压缩子目标级信息；Wang 等人（2024（https://arxiv.org/html/2607.12267#bib.bib28））为演绎推理添加了神经符号工作记忆；CAT（Liu等人，2025b（https://arxiv.org/html/2607.12267#bib.bib26））将上下文维护暴露为可调用的工具。程序化和图结构控制器（Besta等人，2025（https://arxiv.org/html/2607.12267#bib.bib47））通过更强的保证外化状态，但需要代码执行、训练或辅助基础设施。SLEUTH 在最轻量的设计点——仅靠提示——实现了实质性收益，其特点在于三分认识结构以及开放问题与动作选择之间的直接耦合。

#### 测试时计算与停止准则。
自适应地分配推理时间计算可以匹配或超越缩放模型参数（Snell等人，2025（https://arxiv.org/html/2607.12267#bib.bib14）；Muennighoff等人，2025（https://arxiv.org/html/2607.12267#bib.bib40）；DeepSeek-AI等人，2025（https://arxiv.org/html/2607.12267#bib.bib36）），但这些方法适用于单轮推理；类似的多轮挑战是在证据收集与承诺之间分配固定的动作预算。基于强化学习的方法（Jin等人，2025（https://arxiv.org/html/2607.12267#bib.bib43）；Shi等人，2025（https://arxiv.org/html/2607.12267#bib.bib41））训练模型决定*何时*搜索，但不决定如何组织收集到的证据。我们的提示在轨迹层面解决了探索-利用权衡的互补问题，在预算的特定比例（70%）处触发承诺。关键的是，SLEUTH 不需要强化学习或微调——它完全通过提示和轻量级运行时检查实现，因此可立即应用于任何遵循指令的模型。

## 3 SLEUTH：结构化认识工作记忆

SLEUTH 为语言智能体添加了一个显式的*认识工作记忆*——一个结构化的草稿板（Nye等人，2021（https://arxiv.org/html/2607.12267#bib.bib35）），智能体在每一轮读取和更新它，组织为三分认识结构，将已确立的知识与假设和开放不确定性分开。该框架不需要微调或架构修改；完全通过提示实现。我们描述工作记忆结构（§3.1（https://arxiv.org/html/2607.12267#S3.SS1））、更新协议（§3.2（https://arxiv.org/html/2607.12267#S3.SS2））以及解决证据充分性问题的承诺机制（§3.3（https://arxiv.org/html/2607.12267#S3.SS3））。图1（https://arxiv.org/html/2607.12267#S3.F1）展示了该框架在一个多跳问题上的应用。

参考图注

图 1：SLEUTH 框架在一个 3 跳问题上的概述（显示在第 3 轮，共 20 轮）。智能体观察检索到的段落，更新其三分工作记忆 \(W_t = (\mathcal{F}_t, \mathcal{H}_t, \mathcal{Q}_t)\)，并根据最高优先级的开放问题选择下一步行动。承诺机制（提示）在轮次 \(\alpha T\) 处触发，强制利用已累积的证据。下方的时间线展示了整个轮次预算中的探索–利用权衡。

### 3.1 工作记忆结构

在每一轮 \(t\)，智能体维护一个工作记忆状态 \(W_t\)，包含三个类型组件：

#### 已确认事实 \(\mathcal{F}_t = \{f_1, \ldots, f_n\}\)
是从工具输出中提取的已验证陈述，每个都关联到具体来源。条目格式：`[F_i] <statement> (source: <title>)`。事实是单调累积的——一旦确认，在回合内永不撤销。这种单调性确保证据得以保留，而非因上下文稀释而丢失。

#### 活跃假设 \(\mathcal{H}_t = \{h_1, \ldots, h_m\}\)
是按证据支持排序的候选答案。每个假设与支持或反驳它的已确认事实相关联，并带有显式的置信水平（高/中/低）。条目格式：`[H_j] <hypothesis> | confidence: <level> | supports: <fact IDs> | contradicts: <fact IDs>`。排序随新证据的到来而改变：当支持性事实累积时假设获得置信，当被反驳时降低置信。

#### 开放问题 \(\mathcal{Q}_t = \{q_1, \ldots, q_l\}\)
是其解决将最大程度改变假设排名的未确定事项，每个都带有建议的动作。条目格式：`[Q_k] <question> | action: <proposed query> | priority: <level>`。最高优先级的开放问题直接决定智能体的下一次工具调用，在认识状态与动作选择之间建立了紧密耦合。当 \(\mathcal{Q}_t = \emptyset\) 且某个 \(h_j\) 具有高置信时，智能体承诺一个答案。完整状态 \(W_t = (\mathcal{F}_t, \mathcal{H}_t, \mathcal{Q}_t)\) 在每一轮完整输出，构成显式的认识状态链，即智能体的推理轨迹。

### 3.2 更新协议

每次工具调用后，智能体执行结构化更新 \(W_{t-1} \rightarrow W_t\)：

1. 1. 提取事实。解析工具输出，获取新的可验证信息。将每条信息作为已确认事实添加，并附上来源指针：\(\mathcal{F}_t \supseteq \mathcal{F}_{t-1}\)。
2. 2. 更新假设。对于每个 \(h_j \in \mathcal{H}_{t-1}\)，判断新事实是支持、反驳还是无关。相应调整置信度。如果证据提示尚未考虑过的解释，则生成新假设。
3. 3. 更新问题。移除已被新观察回答的问题。生成针对剩余不确定性的新问题——具体来说，是那些答案将最大程度改变假设排名的问题。
4. 4. 选择动作。执行最高优先级问题的建议动作。如果 \(\mathcal{Q}_t = \emptyset\) 且某个假设具有高置信，则调用 `finish(answer)`。

该协议强制执行两个关键性质。首先，*证据单调性*：已确认事实永不消失，防止了标准智能体中的上下文稀释。其次，*动作基础性*：每次工具调用均由一个显式的开放问题证明其合理性，消除了冗余或漫无目的的搜索。经验上，在典型的 4 跳轨迹中，事实从 \(\sim 2\) 累积到 \(\sim 4\)，而开放问题从 \(\sim 1.5\) 减少到 \(\sim 1.1\)（附录 E（https://arxiv.org/html/2607.12267#A5））。工作内存在运行时被强制执行