面向多智能体 VLM 系统的协作记忆

# 多智能体视觉语言模型系统的协作记忆
来源：https://arxiv.org/html/2609.17921
胡鑫欣*\*，夏邵俊*†  
机构：美国北卡罗来纳州达勒姆市，杜克大学  
邮箱：[[email protected]](mailto:[email protected])

王迪†  
机构：美国威斯康星州密尔沃基市，富士康  
邮箱：[[email protected]](mailto:[email protected])

刘良曦†  
机构：美国马萨诸塞州波士顿市，东北大学  
邮箱：[[email protected]](mailto:[email protected])

熊海南  
机构：美国马萨诸塞州剑桥市，哈佛大学  
邮箱：[[email protected]](mailto:[email protected])

王子豪  
机构：美国加利福尼亚州门洛帕克市，Meta  
邮箱：[[email protected]](mailto:[email protected])

© ,

###### 摘要

视觉语言模型（VLM）智能体结合了专门的感知、工具与推理能力，以应对复杂的视觉任务。在多智能体环境中，不同的智能体观察不同的图像区域、视频帧或视觉表征，因此协作超越了分布式推理的范畴，扩展到了分布式感知。这使得共享视觉语境成为VLM智能体协作的核心问题。本文围绕协调不同解释和更新依赖推理的需求，构建了记忆层级、跨智能体共享和一致性机制。有效的协作要求智能体能利用其他智能体的贡献、恢复缺失的视觉上下文，并在新证据出现时调和不同的解释。共享视觉记忆不仅保存图像或文本摘要，还保存观测结果、智能体解释及后续推理之间的依赖关系。这些设计考量共同塑造了信息如何在VLM智能体间流动和演化。所提出的框架为构建可靠且资源高效的智能体团队奠定了基础。

###### 关键词：

多智能体，视觉记忆，视觉语言模型

††脚注文本：## 1. 引言

视觉语言模型（VLM）将视觉观测与文本指令相结合（Liu等人，2023；Li等人，2023）。基于VLM的智能体通过任务上下文、外部工具和辅助模型扩展了这种多模态能力，实现了目标导向的感知和推理（Shen等人，2023）。我们认为，这类智能体之间的协作引入了一个独特的系统挑战：中间视觉观测和解释必须在智能体边界间保持可访问、可验证和可修订。当智能体使用不同的任务上下文和工具来划分感知和推理职责时，这一点变得尤为重要。这种协作需要的不仅仅是交换答案，因为智能体需要发现他人观察到了什么、获取缺失的证据，并在早期解释发生变化时重新审视结论。*多个VLM智能体应如何划分视觉工作并管理共享记忆？*目标是保存中间观测和解释，同时提供其他智能体重用、验证和修订它们所需的上下文。

关于多智能体系统的研究表明，在需要互补视觉能力的任务中有所收益，例如移动界面操作和长视频推理（Wang等人，2024；Chen等人，2026a；Wang等人，2026b），当输入是连续的或来自高分辨率源时，协调变得尤其具有挑战性。流式视频增加了对及时响应的需求，同时需要持续的观测和对先前上下文的访问（Chen等人，2024；Xu等人，2026；Qian等人，2025；Tang等人，2026）。病理学审查可以结合来自千兆像素切片的局部细节与更广泛的组织背景和相关报告（Xu等人，2024；Ding等人，2025）。此类场景促使团队检查不同区域、时间间隔或子任务，同时共享整合和验证其发现所需的证据。

共享记忆为跨智能体连接观测、解释和推理提供了基础。关于大型语言模型（LLM）智能体记忆的先前工作考察了信息如何被保留、检索、组织和修订（Zhang等人，2025b；Hu等人，2025）。在单智能体层面，现有系统专注于上下文管理和结构化记忆记录（Packer等人，2023；Xu等人，2025），而近期工作已开始研究跨智能体和模型的选择性记忆共享与重用（Rezazadeh等人，2025；Chang等人，2026）。然而，对于VLM团队而言，协作引入了额外要求。观测和解释必须与使其他智能体能够重用、验证并在必要时修订它们的视觉上下文保持关联。

图1\. 通过共享视觉记忆进行协作。图表智能体将提取的值与图例智能体提供的标签结合，而推理智能体将带标签的值与表格智能体提供的限制进行比较。当请求验证时，图表智能体重新检查保留的柱状图和图例，并在必要时修订关联。图例、图表和表格智能体贡献了互补的观测。图表智能体使用图例将温度与组件关联。推理智能体将关联的峰值与表格智能体提供的限制进行比较，并可以请求验证。然后图表智能体重新检查保留的柱状图和图例，再修订关联。视觉任务在专业化与共享理解之间产生了张力。图表和信息图任务需要结合标签和布局解释图形元素（Masry等人，2022；Mathew等人，2022）。智能体可以在一个小区域上高效工作，但该区域可能省略了协作者需要的图例。修订柱状图到标签的关联可能会在不改变像素的情况下使另一个智能体的比较无效。因此，足以进行本地工作的信息对于协作者使用或验证贡献可能不足。

因此，我们提议围绕跨智能体的观测、解释和后续推理之间的连接来组织共享视觉记忆。记忆层级决定了保留哪些上下文，跨智能体共享控制对可用表征的访问，一致性机制使使用早期解释的智能体能够看到修订。这些设计决策是相互依存的，因为后续验证可能需要记忆必须保留并使其可访问的额外上下文。

我们通过一个航天器热测试示例和三个问题来发展这个设计。记忆应如何将本地观测与协作者所需的上下文联系起来？访问应如何适应接收智能体的任务和模型接口？修订应如何提示协作者审查依赖性结论？

## 2\. 共享视觉记忆的协作视角

本节使用航天器热真空测试场景（其中硬件在受控压力和温度下进行评估）来揭示共享视觉记忆的核心要求。据报道，一次测试处理了数太字节的原始数据（Kimble等人，2016），其温度历史、仪器图表和要求表可能超过单个智能体的上下文窗口。当异常调查必须在固定截止日期前完成，而新测量数据持续到达时，智能体可以并行检查不同组件和时间间隔，然后将完成的分析传递给推理智能体。独立的工作上下文确保每个智能体专注于其专门工具所需领域知识。

互补观测。一个共享任务可能需要智能体结合单独看不充分的观测。图例智能体A结合工程图理解模型和传感器位置记录，将绘制的颜色与组件关联。图表智能体B使用校准记录、时间序列分析工具和热仿真模型来解释温度峰值和梯度。表格智能体C使用测试程序和表格提取工具，为当前测试阶段和硬件配置选择限制。推理智能体D结合这些贡献并请求进一步检查。在此示例中，B需要A的图例；B和C最初可以并行工作，但D的比较需要信息在任务间传递。这些中间结果形成了一种依赖结构，其中后续推理建立在早期观测和解释之上。

图1（https://arxiv.org/html/2609.17921#acmlabel1）将此工作流抽象到一个使用光敏探测器和光学反射镜的单一间隔，峰值温度分别为38和47开尔文，对应的限制分别为40和50开尔文。

迭代协作。共享记忆允许分析通过重复交互发展。B可以发布带有未解决组件标签的值，请求图例，并在更新关联前检查A保存的视觉证据。D可以将带标签的值与C的限制进行比较，并在解释仍不确定时发出验证请求。B可以在检查后修订关联，促使D重新考虑比较。因此，智能体在贡献、读取、请求和审查之间交替进行。这种分工可以遵循源访问、工具能力或专业知识，类似于可配置的语言智能体团队（Wu等人，2024）。角色可以在任务期间改变，智能体可以使用相同或不同的VLM。协调器或智能体本身可以查阅已完成工作和未决请求的共享记录来决定下一步做什么。

证据和工作的共享记录。我们将共享记忆视为一种结构化的协调基础，VLM智能体可以通过它有选择地访问、更新和保留与任务相关的证据、解释和状态。在任务内，它支持正在进行协作的共享工作记忆；跨任务时，选定的记录会保留供以后重用，并带有恢复上下文和修订先前解释所需的链接。

任务相关的视觉上下文。单独保存的观测可能失去解释所需的上下文。例如，B需要柱状图与图例条目之间的链接，正如表格值需要单元格，事件需要周围的帧序列一样。因此，记忆记录可以跨越多个相关区域或观测。然而，为每个协作者提供每个全分辨率源会增加通信和处理成本，这一问题也推动了选择性视觉检索（Wu等人，2025b）。文本解释支持常规推理，而链接的视觉上下文使协作者能够扩展或检查解释。跨页面、图像和视频片段也会产生上下文依赖（Dong等人，2025；Wang等人，2025；Yeo等人，2026），即使每个本地观测都被正确理解。

## 3\. 记忆组织与共享

（a）记忆层级（b）链接表征（c）选择性共享  
智能体本地缓存  
最近观测  
模型特定特征  
共享工作记忆  
证据 + 声明  
未决请求  
写 读  
持久存储  
可重用证据  
团队经验  
保留 检索  
访问范围和保留时间是独立的。  
声明  
图例智能体A  
探测器  
图表智能体B  
探测器 = 38  
版本2  
支持  
观测与特征  
38 单元格/区域  
视觉特征  
视觉证据  
图像/裁剪  
源ID + 区域  
保留上下文和声明链接  
读取请求  
权限  
操作/模型/工具/预算  
上下文与表征  
声明 + 来源  
相关裁剪  
D推理智能体  
比较  
B图表智能体  
检查关联  
跨模型共享  
视觉特征 适配器  
适配特征  

图2\. 记忆组织、表征与访问。 （a）本地缓存、共享工作记忆和持久存储将访问范围与保留时间分离。（b）图例声明支持版本2中修订后的图表记录，并链接到观测和视觉证据。（c）选择性共享根据接收智能体调整上下文和表征。适配器支持跨模型的特征重用。 （a）~ 提出的层级结构包括本地缓存、共享工作记忆和持久记录。（b）~ 图例智能体将蓝色与探测器关联。此解释支持修订后的图表解释：探测器等于38，标记为版本2。解释保持与观测、特征和视觉源的链接。（c）~ 推理智能体接收带有来源的声明进行比较，而图表智能体接收相关裁剪以检查关联。单独的模型适配路径将视觉特征映射到接收模型的适配特征。

记忆层级。一个VLM团队既需要快速访问当前观测，也需要有选择地重用早期工作。图2（https://arxiv.org/html/2609.17921#acmlabel2）概述了一个包含三个层级的记忆层级：用于近期观测和模型特定特征的智能体本地缓存；用于证据、声明和未决请求的共享工作记忆；以及用于后续任务的持久存储。访问范围和保留时间是独立的选择。持久记录也可以是私有的，并且图示的存储不一定在物理上是分离的。

在流式视频中（Qian等人，2025；Tang等人，2026），一个智能体可以缓存近期帧，并发布与可检索的、带时间戳的片段链接的事件描述，而其他智能体则检查较早的片段或整合共享的发现。协调还需要共享工作记忆来区分已检查的间隔和等待检查的间隔，以免延迟处理被误解为没有事件。

链接表征。在层级结构内，源图像和裁剪区域保留可见证据，因此团队无需完全依赖文本描述（Nguyen等人，2026；Su等人，2026；Xia等人，2026）。视觉特征和结构化观测提供处理后的表征，而声明总结了智能体做出的解释。视觉特征是由视觉编码器产生的向量。结构化观测包括带有边框