奖励驱动的大语言模型代理工作流：融合POMDP路由与自我修正的自主决策

# 奖励驱动的大语言模型智能体工作流：融合POMDP路由与自我纠正的自主决策方法  
来源：https://arxiv.org/html/2607.17038  

Amez Amanj Ali  
哈尔滨工业大学（深圳）计算机科学与技术学院  
25sf51117@stu\.hit\.edu\.cn  

曾坤坤  
哈尔滨工业大学（深圳）计算机科学与技术学院  
kktseng@hit\.edu\.cn  

###### 摘要  
本文针对当前大语言模型（LLM）应用中的关键技术挑战——包括长程规划、稀疏奖励归因以及动态环境交互——通过设计并优化智能体工作流予以解决。所提出的架构从根本上融合了核心人工智能范式，包括视觉智能、语言智能、生成智能、强化智能和智能体智能。与依赖静态零样本或少样本提示技术、本质上缺乏鲁棒感知-行动循环的传统基线模型不同，我们的方法引入了一种复杂的部分可观察马尔可夫决策过程（POMDP）路由机制。该机制通过一个内部自我纠正的奖励模型进行增强，该模型在执行前主动评估决策轨迹。通过整合多模态输入和先进的强化学习原理（如近端策略优化和价值函数近似），智能体有效维持了长期结构记忆，并动态调整推理路径以减少误差累积。在复杂公开数据集（包括ALFWorld具身仿真环境、WebShop在线导航基准以及一个自定义多模态仿真平台）上的大量实证实验表明，与标准ReAct框架等主流基线相比，任务成功率和轨迹效率绝对提升了24.5%。全面的消融研究进一步证实了奖励驱动的批评模块在抑制幻觉率方面的独立且显著贡献。本研究成功地在强化学习和基于图神经网络记忆的抽象理论基础与最先进的自主智能体工作流之间架起了桥梁。最终，所提出的架构为开发需要高可靠性和自我反思的复杂多步骤自主系统中的人工智能技术提供了一个实用、可扩展的参考框架。完整代码实现和框架已在 https://github.com/01Amez/RLAW_Implementation 公开。  

关键词：大语言模型，智能体智能，强化学习，多模态融合，自主工作流，图神经网络，部分可观察马尔可夫决策过程  

## 1 引言  

### 1.1 研究背景与问题陈述  

人工智能研究近期经历了一次巨大的范式转变，从开发孤立的静态模式识别模型转向部署能够在动态环境中执行复杂工作流的交互式自主系统。基于人工智能结构与认知模块的分类，我们观察到人工智能已从基础的感知演变为高度互联的认知决策系统。历史上，结构智能通过反向传播和梯度下降奠定了人工神经网络的数学基础，实现了非线性特征提取。随后，视觉智能和语言智能分别通过卷积架构和自注意力机制革命性地处理了高维感官和文本数据。然而，尽管这些专门模块在孤立基准测试中取得了不可否认的成功，但其孤立应用已越来越不足以解决需要序列推理、环境交互和多模态对齐的现实开放式任务。  

大语言模型（LLM）的近期出现和快速扩展催生了一个新前沿：智能体智能。在该范式中，智能体被设计为能够自主感知环境、制定战略计划、调用外部工具并执行动作，以完成自然语言指令指定的高级目标。通过将生成智能与逻辑推理相结合，这些智能体模拟了类似人类的认知过程。尽管如此，从理论到实际应用的转变仍充满关键挑战。其中最主要的是长周期内复合推理退化的问题。传统LLM智能体经常遭受“级联幻觉错误”，即在推理轨迹早期一个不合逻辑的假设就会彻底破坏整个执行路径。此外，这些智能体存在长期记忆容量有限的问题：它们难以维持准确的世界状态结构表示，常常在长时间交互中遗忘关键环境约束。当前智能体架构中最重要的理论缺陷或许是缺乏形式化的数学目标来指导决策过程。没有显式的奖励驱动批评机制，LLM仅基于预训练分布的最大似然估计生成动作，而不是选择明确最大化目标完成概率的动作。这种根本性的脱节常导致无限执行循环、冗余工具调用，或在状态转移不完全确定的局部可观察环境中执行无效动作。  

为解决这些系统性弱点，本文通过强化智能的数学视角形式化智能体规划问题，直接应对上述挑战。我们提出一种基于数学基础、具备自我纠正能力的LLM智能体工作流，强制执行严格的“提出-批评-执行”循环，有效减少长周期内的推理退化，并使生成能力与形式化价值最大化原则对齐。  

### 1.2 研究目标与核心贡献  

为弥合静态语言生成与动态目标导向自主性之间的差距，本研究整合多模块理论知识，设计了一个显著改进的统一智能体工作流。总体目标是展示如何综合运用强化学习、语言生成和图信念传播等基础原理，解决智能体智能领域的最先进问题。具体而言，我们旨在用强化学习导出的严格评估指标来增强LLM的认知引擎。本研究的主要目标和核心贡献详述如下：  

- **理论框架与架构优化：** 利用语言智能与智能体智能之间的深层理论交互，我们通过引入部分可观察马尔可夫决策过程（POMDP）路由机制，形式化地优化了标准智能体架构。该方法不将LLM仅视为自回归文本生成器，而是将其提升为严格强化学习框架中的形式化策略函数。通过显式定义状态空间、动作空间和转移动力学，我们对智能体的生成输出施加了数学严谨性。  
- **先进多模块知识整合：** 我们通过特别综合强化智能概念（如价值函数、优势估计和奖励建模）与生成智能能力，深度整合了多模块知识。我们提出一种新颖的自我纠正批评模块，作为内部“批评家”。该模块主动评估主LLM“行动者”提出的候选推理路径，并在外部环境执行前果断消除次优或幻觉轨迹。这大幅降低了关键幻觉率，防止了误差累积。  
- **全面的实证验证：** 我们在多个具有挑战性的环境中提供了大量实证证据，验证所提出的架构。通过在物理仿真任务（ALFWorld）和网页导航任务（WebShop）上的严格定量分析，我们证明该架构不仅实现了更高的绝对成功率，还显著提升了参数效率——使较小的本地化模型能够超越庞大、无约束的基线。这些结果为智能体在计算受限场景中的可扩展工业部署提供了高度可操作的见解。  

### 1.3 论文组织  

本学术报告的其余部分结构如下：第2节全面回顾了智能基础模块，并调查了自主语言智能体领域的最新研究进展。第3节形式化目标问题，并详细阐述了我们提出的奖励驱动LLM智能体工作流（RLAW）的理论基础和核心算法设计。第4节介绍严格的实验设置，包括数据集描述和基线比较，随后详细分析定量结果、消融研究和架构可视化。第5节深入讨论了解释发现、承认当前研究局限，并对设计洞察和未来方向进行了详细思考。最后，第6节通过总结主要成就和概述未来多模块整合研究的前景方向，简洁地结束论文。  

## 2 相关工作  

### 2.1 基础知识回顾  

本研究的知识基础深深植根于认知计算架构的系统性技术演进[5,1]。为提供必要的背景并建立我们提出架构的理论前提，我们首先全面回顾构成现代人工智能格局的八个核心智能模块，总结于表1。  

- **结构智能：** 作为现代深度学习的绝对基础基石，结构智能涵盖了基本神经范式（包括多层感知器（MLP）、传统卷积神经网络（CNN）和循环神经网络（RNN））的架构与优化。这些架构确立了梯度下降、反向传播和非线性特征提取的基本原理。没有对损失景观如何数学导航的严谨理解，更高级的认知结构就无法有效优化。  
- **视觉智能：** 直接扩展自CNN的空间不变性，视觉智能应对复杂的下游任务，如实时目标检测、实例分割和语义场景解析。通过学习层次化的空间表示，该模块使人工系统能够解析和理解复杂的视觉环境。在具身人工智能的背景下，视觉智能是极其关键的组件，因为它提供了智能体在物理或仿真3D环境中导航所需的原始感官输入，而无需仅依赖抽象文本描述。  
- **语言智能：** 无疑是当前人工智能复兴的催化剂，该模块由革命性的Transformer架构驱动[1]。语言智能主要关注序列建模、语义理解和概率文本生成。缩放点积自注意力的核心机制允许网络通过动态权衡所有过去词元的相关性来处理大上下文窗口。这种能力使GPT-3和LLaMA[8]等大语言模型（LLM）能够作为驱动现代自主智能体的强大认知和推理引擎。  
- **生成智能：** 超越判别式分类，生成智能包括明确设计用于从复杂高维数据分布中映射和采样的模型。主要架构包括变分自编码器（VAE）、生成对抗网络（GAN）[7]以及近期占主导的扩散模型。在先进智能体工作流中，生成能力不仅用于创造性合成，还广泛用于“世界建模”——允许智能体在执行动作前内部模拟其潜在结果，有效合成假设记忆结构。  
- **图智能：** 传统神经网络常难以处理非欧几里得数据。由图卷积网络（GCN）[9]和图注意力网络（GAT）引领的图智能，提供了处理由节点和边定义的关系数据的数学框架。在复杂智能体工作流中，图智能高度适用于构建语义记忆库、维护环境约束的知识图谱，以及动态映射任务执行期间遇到的各种实体间相互关联关系。  
- **多模态智能：** 真正的通用智能需要融合不同的感官输入。多模态智能专注于不同数据模态的深度融合——主要是将对齐连续视觉嵌入与离散语言词元，如Vision Transformer（ViT）[10]和CLIP等架构所示。为使自主智能体成功在现实世界中运行，它必须能够同时从语言指令和动态视觉帧中感知统一、连贯的状态空间，这一点绝对必要。  
- **强化智能：** 监督学习依赖静态数据集，而强化智能则形式化了通过试错和延迟环境反馈进行学习的动态过程。深度Q网络（DQN）和近端策略优化（PPO）[5]等核心算法提供了智能体最大化长期累积奖励所需的严格数学框架。强化学习将优化目标从仅仅准确预测下一个词转向实际完成复杂的多步骤目标。  
- **智能体智能：** 作为认知人工智能的整合层，该模块综合了前述所有智能形式。智能体智能将LLM的生成能力嵌入连续的感知-行动-奖励循环中。通过为模型配备外部软件工具、专用API、读写记忆库和迭代规划算法，智能体从被动的答案机器转变为能够解决长期目标、主动的自主问题解决者。  

表1：八个核心智能课程模块的分类与架构综合，概述其主要架构、核心功能目标、数学优化基础以及在RLAW框架中的显式整合角色。  

### 2.2 当前现状