visual-agents

本文研究了资源受限视觉智能体中共享状态协作推理的失效模式，引入了CoSee审计框架，该框架形式化了读写验证循环。研究发现，简单的共享工作区可能会放大幻觉，并识别出噪声增强和策略崩溃是主要的失效模式。

本文介绍了MMSkills，这是一个用于表示、生成和使用视觉智能体多模态程序性知识的框架，结合了文本程序与视觉状态卡和关键帧，并在GUI和游戏类视觉智能体基准测试中展示了改进效果。