多模态智能体框架的基础与前沿：技术与应用综述

# 多模态智能体框架的基础与前沿：技术与应用综述  
来源：https://arxiv.org/abs/2608.20379  
作者：Neel Mokaria (https://arxiv.org/search/cs?searchtype=author&query=Mokaria,+N)、Rishie Raj (https://arxiv.org/search/cs?searchtype=author&query=Raj,+R)、Dheeraj Baiju (https://arxiv.org/search/cs?searchtype=author&query=Baiju,+D)、Xiaoqian Shen (https://arxiv.org/search/cs?searchtype=author&query=Shen,+X)、Shraman Pramanick (https://arxiv.org/search/cs?searchtype=author&query=Pramanick,+S)、Kevin Qinghong Lin (https://arxiv.org/search/cs?searchtype=author&query=Lin,+K+Q)、Arda Senocak (https://arxiv.org/search/cs?searchtype=author&query=Senocak,+A)、Mike Zheng Shou (https://arxiv.org/search/cs?searchtype=author&query=Shou,+M+Z)、Philip Torr (https://arxiv.org/search/cs?searchtype=author&query=Torr,+P)、Mohamed Elhoseiny (https://arxiv.org/search/cs?searchtype=author&query=Elhoseiny,+M)、Yapeng Tian (https://arxiv.org/search/cs?searchtype=author&query=Tian,+Y)、Ruohan Gao (https://arxiv.org/search/cs?searchtype=author&query=Gao,+R)、Salman Khan (https://arxiv.org/search/cs?searchtype=author&query=Khan,+S)、Sayan Nag (https://arxiv.org/search/cs?searchtype=author&query=Nag,+S)、Sanjoy Chowdhury (https://arxiv.org/search/cs?searchtype=author&query=Chowdhury,+S)、Dinesh Manocha (https://arxiv.org/search/cs?searchtype=author&query=Manocha,+D)  

查看PDF (https://arxiv.org/pdf/2608.20379)  

> 摘要：大语言模型 \(LLMs\) 的进展推动了智能体研究的浪潮——即推理、规划与行动的能力。这一方向催生了围绕强大LLM骨干协调感知、记忆与决策的智能体框架。随着大型多模态模型 \(LMMs\) 的出现，这些系统能够处理并整合包括图像、音频和视频在内的多种模态，从而提升其在真实世界中的适用性。然而，尽管已有针对LLM智能体的综述，但近年来系统性地审视多模态在塑造智能体能力中作用的工作尚属空白。本综述通过分析多模态对智能体框架核心功能模块——感知、推理、规划、记忆与行动——的影响来填补这一空白。基于此视角，我们梳理了从文本中心智能体到多模态框架的演进历程，探讨了通过委托式、后融合与早融合架构实现模态整合的方式，并评估了基于具身感知和多模态推理所涌现的智能体行为。我们通过一个以模态为中心的分类体系组织现有工作，该体系将架构设计选择与智能体能力相关联。此外，我们综述了多模态智能体系统在多个应用领域的实践，包括机器人学、GUI与网络导航、多媒体内容生成与编辑、长视频理解与检索。除能力外，我们还分析了这些场景下的性能表现，并探讨了效率-可扩展性的权衡，包括训练与推理成本、延迟及部署约束。通过聚焦多模态在智能体设计中的影响，我们旨在识别关键差距并绘制迈向鲁棒通用智能系统的技术路线图。

## 投稿历史

来自：Sanjoy Chowdhury \[查看邮件 (https://arxiv.org/show-email/14ed877a/2608.20379)\] **\[v1\]** 2026年6月28日（周日）17:03:12 UTC \(5,039 KB\)