论文页面 - 学会如何记忆：GUI Agent 的记忆模态选择

来源：https://huggingface.co/papers/2610.17928

摘要

视觉-语言模型（VLM）的最新进展极大地提升了 GUI agent 的能力，而记忆增强已成为一种从历史交互中复用知识的有前景的方法。然而，现有的记忆增强 GUI agent 通常采用固定的表征策略，将检索到的经验以静态模态提供。单一的记忆模态是否始终最优，以及模态偏好如何随交互步骤变化，目前仍不清楚。在本文中，我们对基于 VLM 的 GUI agent 中的记忆模态进行了系统性研究。在多个 GUI 基准上，我们发现偏好的记忆表征强烈依赖于具体步骤。受此发现启发，我们提出了 SwitchMem，一种在每个步骤中动态选择文本或视觉记忆表征的路由框架。在三个 GUI 基准上，SwitchMem 的表现优于依赖静态记忆表征的记忆增强基线方法。我们的研究结果验证了我们的论点：记忆模态是一个随步骤变化的决策，而非固定的架构设计选择。代码及项目资源请见 https://txxnrd.github.io/switchmem

查看 arXiv 页面 (https://arxiv.org/abs/2610.17928) 查看 PDF (https://arxiv.org/pdf/2610.17928) 项目页面 (https://txxnrd.github.io/switchmem/) GitHub1 (https://github.com/dmis-lab/SwitchMem) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.17928)

在你的 agent 中获取本文：

hf papers read 2610.17928

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型关联到本文。

在模型 README.md 中引用 arxiv.org/abs/2610.17928，即可从本页面链接到该模型。

引用本文的数据集 0

没有数据集关联到本文。

在数据集 README.md 中引用 arxiv.org/abs/2610.17928，即可从本页面链接到该数据集。

引用本文的 Spaces 0

没有 Space 关联到本文。

在 Space README.md 中引用 arxiv.org/abs/2610.17928，即可从本页面链接到该 Space。

收录本文的合集 0

没有合集收录本文。

将本文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到该合集。