NeSyFS：面向部分可观测环境下LLM智能体的神经符号快慢思考框架

# NeSyFS：部分可观测环境下LLM智能体的神经符号快慢思考框架

Source: https://arxiv.org/html/2607.28942

###### 摘要

近年来，大型语言模型（LLMs）越来越多地被部署为自主智能体，应用于自我反思、检索增强生成和科学发现等场景。在这些场景中，智能体必须基于有限的观测而非完整的环境状态进行行动，从而导致部分可观测性。这带来了几个关键挑战：信念状态推断、任务目标错位以及不确定性下的规划。先前的方法通常基于完整或总结过的动作-观测历史来条件化动作，而这些历史中的冗余和无关信息可能会误导LLM智能体的决策。受人类认知的启发，我们提出了一种新颖的神经符号快慢思考（NeSyFS）框架，用于LLM智能体，以统一的方式应对部分可观测性带来的挑战。我们使用知识图谱（KG）来表示信念状态，为NeSyFS的每个模块提供三元组作为上下文。快思考模块执行反应式动作，而慢思考则遵循扭曲序贯蒙特卡洛（TSMC）算法的高层结构，进行一种新的不确定性感知规划。为了缓解任务目标错位问题，引入了一个反思模块来反思快思考的动作，并且每当反应式动作反复失败时，切换到慢思考模块。在三个代表性基准（即ALFWorld、Webshop和ScienceWorld）上的实验表明，相比先前方法具有显著优势。

参见说明图1：先前智能体与NeSyFS智能体的对比。先前智能体使用完整或总结的交互历史作为决策上下文，而我们的智能体动态更新基于KG的记忆，并使用KG检索的三元组作为上下文。KG Gt−1\mathcal{G}_{t-1}通过动作ata_{t}和观测oto_{t}进行更新，即Gt=Update(Gt−1,ot,at)\mathcal{G}_{t}=\text{Update}(\mathcal{G}_{t-1},o_{t},a_{t})。与求解任务η\eta相关的三元组从KG中检索，即τt=R(Gt,η)\tau_{t}=\mathcal{R}(\mathcal{G}_{t},\eta)，这些三元组可以提供结构化的上下文，帮助LLM做出正确决策。

## 引言

大型语言模型（LLMs）通过超越静态文本生成，支持自主决策，从而在智能体应用中取得了显著成功，实现在复杂环境中的工具使用（Schicket al.2023 (https://arxiv.org/html/2607.28942#bib.bib1)）、检索增强推理（Gaoet al.2023 (https://arxiv.org/html/2607.28942#bib.bib2)）、多步规划（Rawatet al.2025 (https://arxiv.org/html/2607.28942#bib.bib3)）和自我反思（Renze and Guven2024 (https://arxiv.org/html/2607.28942#bib.bib4)）等能力。这些进展使得LLM智能体能够执行从具身交互到软件自动化（Jinet al.2024 (https://arxiv.org/html/2607.28942#bib.bib5)）和科学工作流（Yamadaet al.2025 (https://arxiv.org/html/2607.28942#bib.bib6)）等领域的任务。然而，部分可观测性带来一个根本性挑战：与具有完整输入上下文的监督设置不同，智能体环境通常只揭示局部和即时的观测，而真实底层状态仍然是潜在的（Shridharet al.2020 (https://arxiv.org/html/2607.28942#bib.bib7); Yaoet al.2022a (https://arxiv.org/html/2607.28942#bib.bib8)）。因此，LLM智能体必须从不完整且可能带有噪声的交互历史中推断隐藏状态上的信念（Xiet al.2024 (https://arxiv.org/html/2607.28942#bib.bib10); Maet al.2024 (https://arxiv.org/html/2607.28942#bib.bib9)），而这些历史通常很长，难以在有限的上下文窗口内有效压缩。此外，由于智能体无法访问真实底层状态而必须行动，因此引入了更多的不确定性，不确定性下的规划成为LLM智能体面临的挑战。而且，部分可观测性带来的不确定性和缺失状态信息可能使LLM智能体产生与任务目标不一致的动作，从而降低任务完成性能。

在这项工作中，我们提出了一种新颖的神经符号快慢思考框架（NeSyFS），用于LLM智能体，以统一的方式应对部分可观测性的挑战，实现潜在状态推断、缓解任务目标错位，并支持不确定性下的规划。与先前依赖非结构化记忆的基于完整历史或摘要的方法不同，我们采用知识图谱（KG）来表示环境的潜在状态，从而将交互历史编码为结构化的符号记忆。具体来说，每个到来的观测被转换为捕捉实体和事件之间关系及属性的三元组。新获得的事实被整合到KG中，同时KG中过时的三元组被剪枝，确保潜在状态的一致且动态更新的表示。KG检索的三元组在NeSyFS的每个模块中用作上下文。

此外，受人类认知的启发（Kahneman2011 (https://arxiv.org/html/2607.28942#bib.bib68)），所提出的框架将决策分解为快思考和慢思考过程。快思考模块通过检索KG中的相关三元组来构建潜在状态的符号近似，从而生成反应式动作。相比之下，慢思考模块在不确定性下进行深思熟虑的规划。慢思考仅在快思考决策不确定性过大或不可靠时使用。为此，我们提出了一种新的不确定性感知规划算法，该算法遵循扭曲序贯蒙特卡洛（TSMC）（Del Moralet al.2006 (https://arxiv.org/html/2607.28942#bib.bib33)）的高层结构。具体来说，它维护一组粒子，并使用重采样将其引导至建模任务完成轨迹的目标分布。LLM被提示预测下一步观测以及状态转移中是否存在任务进展。该方法的采样机制可以使粒子对LLM基于任务进展评估中的错误具有鲁棒性，并在探索与利用之间达到良好平衡。据我们所知，我们是首个为LLM智能体开发TSMC式规划方法的工作。

尽管快思考强调局部合理的动作，但它并不明确保证与全局任务目标的一致性。为了解决这一局限性，我们引入了一个反思模块，该模块基于从KG检索的相关三元组，评估快思考动作与任务目标的一致性。为了控制计算开销，只有在快思考动作在反思性评估中反复失败时，才会调用慢思考。利用KG提供的三元组作为上下文，逐步反思得以实现，并且比传统的轨迹级反思更高效、更鲁棒。

我们的贡献总结如下。

- •我们提出了一种神经符号快慢思考框架，以统一的方式解决部分可观测性带来的挑战。
- •基于从KG检索的上下文，在慢思考模块中引入了一种神经符号的TSMC式规划算法，以应对部分可观测性下的不确定性。
- •我们设计了一个KG增强的反思模块，使快思考动作与任务目标对齐。通过使用KG检索的三元组，该模块实现了逐步反思，比传统的轨迹级反思更高效、更鲁棒。
- •在三个基准上的实验表明，使用KG检索的三元组作为上下文，提高了LLM在决策、反思和世界建模方面的性能。

## 预备背景

### 部分可观测性

我们考虑这样的智能体任务：自主LLM通过与外部环境E\mathcal{E}的迭代交互来响应用户查询。每一回合从用户查询开始，并在有限时间范围HH内展开。

这类智能体任务可以自然地形式化为部分可观测马尔可夫决策过程（POMDP）（Heet al.2024 (https://arxiv.org/html/2607.28942#bib.bib31); Zhanget al.2025 (https://arxiv.org/html/2607.28942#bib.bib32)），用元组M=(S,A,O,T,O,R)\mathcal{M}=(\mathcal{S},\mathcal{A},\mathcal{O},\mathcal{T},O,R)表示。其中，S\mathcal{S}表示环境的潜在状态空间，A\mathcal{A}表示动作空间，O\mathcal{O}表示由文本环境响应组成的观测空间。环境动态由转移函数T(s′∣s,a)\mathcal{T}(s^{\prime}\mid s,a)和观测模型O(o∣s,a)O(o\mid s,a)控制。奖励函数R(s)R(s)仅定义在终止状态上，表示任务成功与否。

在时间步tt，智能体执行动作ata_{t}，之后环境转移到潜在状态st∼T(⋅∣st−1,at)s_{t}\sim\mathcal{T}(\cdot\mid s_{t-1},a_{t})并返回观测ot∼O(⋅∣st,at)o_{t}\sim O(\cdot\mid s_{t},a_{t})。在推理过程中，潜在状态sts_{t}和奖励函数对智能体都不可直接观测。这导致部分可观测性，进而引入了几个基本挑战，包括潜在状态推断、任务目标错位和不确定性下的规划。特别是，从交互历史中推断sts_{t}很困难，因为历史通常包含大量冗余和噪声信息。此外，不知道sts_{t}会带来大量不确定性，并使规划中未来情况的预测更加复杂。在这项工作中，我们提出了一种新颖的框架来统一解决这些挑战。

### 知识图谱

知识图谱（KGs）（Ehrlinger and Wöß2016 (https://arxiv.org/html/2607.28942#bib.bib39)）将信息表示为图结构数据，其中节点对应实体，边编码实体之间的关系。KG可以从多种来源构建，包括结构化数据库、非结构化文本和其他异构数据模态。与传统数据库类似，图数据库支持结构化查询机制，例如Cypher查询语言（Franciset al.2018 (https://arxiv.org/html/2607.28942#bib.bib40)）。

KG中一对节点之间的关系通常被称为由主语、谓语和宾语组成的三元组。在这项工作中，我们考虑以下三元组形式：

- •（实体1，关系，实体2）
- •（实体1，属性，布尔值/值）
- •（实体1，过去时动词，实体2）

这些形式描述了实体的关系、属性和历史事件。KG表示为G=(V,E)\mathcal{G}=(V,E)，其中VV是与环境中实体对应的语义顶点集合，EE是表示上述形式三元组的语义边集合。我们的框架有一个检索增强生成（RAG）组件，它从KG中检索相关三元组，并将其作为近似POMDP环境底层状态的上下文提供给LLM。

### 扭曲序贯蒙特卡洛

扭曲序贯蒙特卡洛（TSMC）（Doucetet al.2001 (https://arxiv.org/html/2607.28942#bib.bib37); Del Moralet al.2006 (https://arxiv.org/html/2607.28942#bib.bib33); Chopinet al.2020 (https://arxiv.org/html/2607.28942#bib.bib38); Zhaoet al.2024 (https://arxiv.org/html/2607.28942#bib.bib43); Fenget al.2025 (https://arxiv.org/html/2607.28942#bib.bib44)）是一种概率推断框架，通过中间扭曲分布ψt\psi_{t}，逐步将粒子引导到目标分布σ\sigma的高概率区域。在每一步，粒子使用提议分布进行传播，并根据重要性权重进行重采样，从而将计算工作集中在有希望的轨迹上，同时减少方差。在这项工作中，为了解决部分可观测性下的不确定性，慢思考模块遵循类似TSMC的结构，其中LLM被用来提出未来状态和观测，并对粒子进行评分。为简单起见，由于大多数LLM API不提供对数概率的访问，我们不计算完整的重要性权重。

序贯蒙特卡洛（SMC）及其变体已被许多先前工作应用于规划和强化学习（Pichéet al.2018 (https://arxiv.org/html/2607.28942#bib.bib58); Macfarlaneet al.2024 (https://arxiv.org/html/2607.28942#bib.bib59); Abdulsamadet al.2026 (https://arxiv.org/html/2607.28942#bib.bib60)）。与其他规划方法（如蒙特卡洛树搜索（MCTS）（Chenet al.2024 (https://arxiv.org/html/2607.28942#bib.bib64)））相比，SMC式方法可以更好地应对状态的不确定性并降低计算复杂度，因为代表不太可能状态的粒子会被丢弃，并且大概率不会被分支扩展。然而，在基于树搜索的方法中，每个状态都会被扩展，其子节点也会被评估。在这项工作中，我们为慢思考模块开发了一种TSMC式的基于LLM的规划方法，其中状态由从记忆KG中检索的相关三元组近似。据我们所知，这是首个这样做的工作。

参见说明图2：NeSyFS框架图。表示环境潜在状态的知识图谱（KG）由快思考模块用新的观测进行更新，并被所有模块检索。每个反应式动作都会被反思。如果结果为“否”，则会再次调用快思考，并使用反思模块产生的思考。如果“否”连续出现KK次，则启动慢思考模块，通过规划搜索最优动作，其中记忆KG被复制以初始化未来潜在状态和观测的模拟。

## 方法

在本节中，我们介绍NeSyFS框架，该框架维护一个记忆KG作为环境潜在状态的代理。所提出框架的图示如图2 (https://arxiv.org/html/2607.28942#Sx2.F2)所示。使用从记忆KG中检索的三元组作为上下文，快思考模块生成反应式动作，而慢思考模块执行不确定性感知的深思熟虑规划。反思模块根据任务目标评估快思考动作，其中KG检索的三元组有助于在逐步粒度上进行反思。我们将首先介绍快思考模块，包括记忆KG。然后，将详细介绍反思模块。最后，介绍慢思考模块，包括所提出的TSMC式规划算法。

### 快思考模块

我们使用KG G=(V,E)\mathcal{G}=(V,E)作为工作记忆来表示环境（POMDP M\mathcal{M}）的潜在状态。不同于使用完整交互历史或其摘要作为非结构化上下文，这种记忆将环境知识组织为结构化的三元组，这些三元组以“知识图谱”部分中列出的形式描述实体的属性、关系以及过去的事件。

参见说明图3：快思考模块中的决策图。在每个时间步tt，给定当前观测oto_{t}和任务描述η\eta，快思考模块首先通过调用检索方法R(Gt,η)\mathcal{R}(\mathcal{G}_{t},\eta)从记忆KG Gt\mathcal{G}_{t}中检索与任务相关的三元组τt\tau_{t}。R\mathcal{R}的细节将在下文中介绍。