迈向可靠且鲁棒的LLM规划：符号反馈驱动的迭代自我改进框架

# 迈向可靠且稳健的大语言模型规划：一种符号反馈驱动的迭代自优化框架 * 通讯作者：中国科学院自动化研究所，北京，中国。
来源：https://arxiv.org/html/2606.27757
###### 摘要

大语言模型（LLMs）已引起学术界和工业界的广泛关注，但其部署引发了关于鲁棒性和可靠性的关键安全问题。规划作为智能行为的核心组成部分，对LLMs而言仍然具有挑战性，这些模型在长时域决策任务中常因固有问题而产生不可行或不正确的解决方案。本文提出了一种符号反馈驱动的迭代自优化框架，以增强LLMs在长时域规划中的鲁棒性和可靠性。具体而言，我们引入了一种自然语言提示机制，将逻辑符号映射为自然语言描述，使LLMs能够更好地捕捉任务约束和语义。我们还设计了一个符号验证器，用于识别错误并将其转换为LLMs可解释的修正指令，从而引导自我优化。此外，我们利用一个计划识别器来推断目标可达性，以更有效地引导规划朝向期望目标。实验结果表明，所提出的框架在长时域规划任务中持续提升了可行性和正确性。这凸显了其在增强基于LLM的规划可靠性方面的有效性，以及构建更可信人工智能系统的潜力。

## 引言

大语言模型（LLMs）在自然语言理解和生成方面取得了显著进展，吸引了学术界和工业界的广泛关注，但也引发了关于鲁棒性、可靠性以及对幻觉的易感性等关键安全问题[24（https://arxiv.org/html/2606.27757#bib.bib2），3（https://arxiv.org/html/2606.27757#bib.bib29）]。规划作为智能行为的基本组成部分，对于确保可靠且可验证的人工智能系统至关重要。然而，实证证据表明，LLMs在规划任务中仍然面临挑战，尤其是那些需要长时域推理的任务[7（https://arxiv.org/html/2606.27757#bib.bib1）]。这些限制源于长时域规划的内在复杂性[6（https://arxiv.org/html/2606.27757#bib.bib4）]，它涉及在扩展时间范围内构建相互依赖的动作序列，以实现控制目标[29（https://arxiv.org/html/2606.27757#bib.bib7）]。与单步推理不同，长时域规划必须考虑早期决策的延迟和累积效应[10（https://arxiv.org/html/2606.27757#bib.bib28）]。这些特点对建模长程时间依赖关系提出了重大挑战，并加剧了组合复杂性。因此，在这种情况下有效规划需要仔细平衡效率、最优性和适应性[11（https://arxiv.org/html/2606.27757#bib.bib9）]。

尽管LLMs具有强大的语言能力，但它们在规划中常常存在效率低下、易受幻觉影响以及缺乏对可行性和正确性的保证等问题[22（https://arxiv.org/html/2606.27757#bib.bib33），16（https://arxiv.org/html/2606.27757#bib.bib34）]。这些限制引发了关键的安全问题，因为它们的规划策略可能违反约束，导致动作与状态之间的矛盾和冲突[23（https://arxiv.org/html/2606.27757#bib.bib8）]。此外，基于LLM的规划者倾向于选择局部可行的动作而不考虑长期后果，导致错误累积，并常常在长时域任务中造成系统性失败[25（https://arxiv.org/html/2606.27757#bib.bib10）]。因此，开发先进方法以增强基于LLM的智能体在长时域规划中的安全性和可靠性，仍是构建可信人工智能系统的关键挑战。经典的符号规划器通过使用显式符号、逻辑和规则来表示问题，提供了成熟的规划范式，能够实现人类可解释的高级推理[4（https://arxiv.org/html/2606.27757#bib.bib11）]。然而，这些方法严重依赖专家构建的领域知识，并且仅限于结构化符号输入，限制了它们处理自然语言指令或隐式约束的能力[27（https://arxiv.org/html/2606.27757#bib.bib27），5（https://arxiv.org/html/2606.27757#bib.bib13）]。因此，它们的可用性有限，这限制了其在多样化现实场景中的适用性[15（https://arxiv.org/html/2606.27757#bib.bib14）]。

总之，LLMs擅长语言理解但缺乏可靠的规划能力，而符号规划器提供严谨且可解释的推理但灵活性有限。这种互补性促使了神经符号方法的发展，该方法将LLMs与符号方法相结合，以利用各自的优势[9（https://arxiv.org/html/2606.27757#bib.bib31）]。在此类框架中，符号组件提供精确且可解释的验证信号来指导规划，提高可行性和正确性，而LLMs则提供灵活的语言能力，减少对人工指定符号表示的依赖[28（https://arxiv.org/html/2606.27757#bib.bib3），26（https://arxiv.org/html/2606.27757#bib.bib12）]。

参见图1说明图1：所提出的符号反馈驱动的迭代自优化框架概述。本研究提出了一种符号反馈驱动的迭代自优化框架，以增强LLMs在长时域规划中的鲁棒性和可靠性。它利用神经符号反馈机制将结构化知识整合到规划过程中，实现精确的错误检测和纠正。具体而言，符号验证器与LLMs交互以评估生成的计划并确保目标满足，从而提高可行性和正确性。当检测到错误，例如动作冲突或约束违反时，验证器提供结构化反馈以引导纠正性推理，从而减轻幻觉并增强规划可靠性。此外，该框架整合了一个计划识别器来推断目标可达性，促进对期望目标的有效引导。我们的实证结果验证了所提出框架在长时域规划任务中显著提升了LLMs的性能。此外，框架中嵌入的多样化反馈策略被证明是有效的，在不同基于LLM的规划器和规划场景中提供了灵活性和通用性。结果表明，该框架可以持续增强LLM生成计划的鲁棒性和可靠性，这对于构建更可靠和可信的人工智能系统至关重要。

我们的主要贡献总结如下：

- •我们提出了一种符号反馈驱动的迭代自优化框架，增强了LLMs的鲁棒性和可靠性。
- •我们设计了一个符号验证器，将错误翻译成LLMs可解释的修正指令，为自我优化提供精确指导。
- •我们整合了一个计划识别器来推断目标可达性并促进符号知识转移，将规划过程导向预期目标。
- •大量实验表明，所提出的框架持续提升了LLMs的长时域规划能力。

## 背景

### II-A 规划的定义

规划是指生成一系列动作以使智能体能够达到期望目标的过程[8（https://arxiv.org/html/2606.27757#bib.bib15）]。形式上，规划问题可以定义为一个三元组 \(P=(\Xi, I, G_{tru})\)，其中 \(\Xi\) 表示领域规范，由一组状态变量 \(\mathcal{V}\) 和一组动作 \(\mathcal{A}\) 组成。\(I\) 表示初始状态，而 \(G_{tru}\) 表示规划目标[2（https://arxiv.org/html/2606.27757#bib.bib16）]。一个动作 \(a \in \mathcal{A}\) 由三元组 \((name_a, pre_a, eff_a)\) 表示，其中 \(name_a\) 表示动作 \(a\) 的描述；\(pre_a\) 和 \(eff_a\) 分别称为其前提条件和效果。状态 \(s \in \mathcal{V}\) 是一组有限的正事实 \(f\)，遵循封闭世界假设，使得如果 \(f \in s\)，则 \(f\) 在状态 \(s\) 中为真。动作 \(a\) 在状态 \(s\) 中适用当且仅当 \(pre_a \in s\)。在状态 \(s\) 中应用动作 \(a\) 会导致一个新状态 \(s'\)，其变量与 \(s\) 相同，除了那些在 \(eff_a\) 中定义的变量。规划器 \(\Pi\) 通过制定适当的计划 \(\pi = \Pi(P)\) 来解决面临的规划问题 \(P\)，通常表示为动作序列 \(\pi = (a_0, a_1, \ldots, a_n)\)，通过按顺序应用 \(\pi\) 中的动作将初始状态 \(I\) 转换为目标状态 \(G_{tru}\)。

### II-B 规划领域定义语言

规划通常使用规划领域定义语言（PDDL）来形式化描述，PDDL提供了表示规划问题的统一标准[12（https://arxiv.org/html/2606.27757#bib.bib25）]。PDDL基于谓词来表示状态和动作[1（https://arxiv.org/html/2606.27757#bib.bib32）]。一个 \(n\) 元谓词 \(p\) 应用于一个项序列 \((t_1, \ldots, t_n)\)，其中每个项是常量或变量，表示领域中的一个对象。经实例化的谓词称为事实，对应于用特定对象实例化的谓词。PDDL的结构通常分为两个部分：领域定义和问题定义。领域定义捕获一类规划问题的共享特征，包括类型规范、谓词定义和动作模式。相反，问题定义指定一个具体的规划实例，包括初始状态、目标条件以及所涉及的对象集合。

## 方法论

本节介绍所提出的框架，如图1（https://arxiv.org/html/2606.27757#S1.F1）所示。我们首先介绍用于规划任务的自然语言提示机制，然后介绍基于反馈驱动的LLMs迭代自优化框架，最后介绍基于识别的符号验证器。

参见图2说明图2：Blocksworld领域的自然语言提示示例。

### III-A 自然语言提示机制

规划任务通常依赖于PDDL中的结构化符号表示，以实现精确且严谨的推理。LLMs擅长自然语言（NL）理解和生成，但在解析规划中使用的符号语言方面能力有限[20（https://arxiv.org/html/2606.27757#bib.bib17）]。因此，它们容易出现语法解析错误、语义对齐弱以及领域规则误解等问题，这严重影响了规划的准确性和效率[19（https://arxiv.org/html/2606.27757#bib.bib18）]。本文提出了一种自然语言提示机制，建立PDDL符号语言与自然语言之间的映射。它保留了PDDL的逻辑约束，同时利用自然语言的语义直观性，使LLMs能够准确理解规划任务的约束边界和语义内容。这类提示的构建可以形式化表示为：

\[\text{prompt} = \text{Concat}(template, \Xi, I, G_{tru})\] (1)

其中 \(template\) 是指一个预定义的文本结构，用于将问题信息系统地组织成LLMs可以处理的格式。\(\Xi\) 表示规划领域定义，而 \(I\) 和 \(G_{tru}\) 分别代表规划问题的初始状态和目标。

以具有代表性的Blocksworld任务为例，我们详细说明了上述转换过程。如图2（https://arxiv.org/html/2606.27757#S3.F2）所示，首先从PDDL文件中提取关键信息，如动作、谓词和对象，然后映射为自然语言。基于Blocksworld领域的语义，PDDL动作 \(pick-up\) 被转换为自然语言“拿起一个积木”。其前提条件和效果也相应地进行翻译。例如，前提条件 \(handempty\) 被转换为“只有当我的手是空的时，我才能拿起或拆解积木”，明确指明了执行该动作的必要条件。同样，效果 \((holding?ob)\) 被翻译为“一旦我拿起或拆解一个积木，我就拿着这个积木”，表示动作后的结果状态。通过这种机制生成的自然语言描述保留了PDDL文件的符号约束，同时以LLMs能够高效理解的格式呈现。该机制减轻了由于难以解析符号语法而导致领域规则被误解的风险，并为后续LLMs的规划奠定了基础。

### III-B 反馈驱动的迭代自优化框架

如图1（https://arxiv.org/html/2606.27757#S1.F1）所示，PDDL文件和自然语言描述文件被输入LLMs以生成初始计划 \(\pi\)，旨在实现规划目标。然而，由于幻觉等问题，初始序列常常包含错误，例如动作冲突或目标不可达。为了解决这个问题，我们提出了一种反馈驱动的自优化框架，该框架构建了一个自动提示工程，将符号验证器识别出的错误转换为LLMs可理解的修正指令，为模型的自我优化过程提供精确指导。具体而言，我们生成增强反馈的提示来优化LLMs生成的计划。增强反馈的提示（公式(2)）包含三个组成部分：

\[T' = T_{input} \oplus T_{feedback} \oplus T_{history}\] (2)

其中原始基础提示 \(T_{input} = \text{Tokenize}(prompt)\)，包含来自自然语言提示机制的标记化输出，并包括规划任务目标、领域规则和初始状态等核心信息。历史组件 \(T_{history}\) 记录先前的规划尝试，而增强反馈 \(T_{feedback}\) 提供错误检测信息。

基于来自符号验证器的增强反馈提示，LLMs纠正先前计划 \(\pi\) 中的错误动作，并设计满足规划目标的新计划 \(\pi'\)。这形成了一个包含提示优化、策略生成、错误验证和反馈更新的迭代自我优化循环。循环在以下任一条件下终止：(1) 验证器未检测到错误并生成可行的规划策略；或 (2) 达到预设的最大迭代次数。通过构建反馈驱动的自优化框架，该方法建立了一个“反馈-优化-指导”的闭环，将模型的自我优化过程从盲目的试错转变为精确的目标纠正。

参见图3说明图3：基于识别的符号验证器。

### III-C 基于识别的符号验证器

作为反馈驱动的迭代自优化框架的核心组件，符号验证器负责...