论文页面 - MemPilot：为 LLM Agent 编排按需多模态记忆整理

来源：https://huggingface.co/papers/2610.06830

摘要

MemPilot 利用强化学习动态整理多模态 Agent 记忆，通过自适应检索与模型选择在性能、成本和延迟之间取得平衡。

记忆已成为 LLM Agent（https://huggingface.co/papers?q=LLM%20agent）生态系统中不可或缺的一部分，支持跨交互的信息保留与复用。然而，大多数现有 Agent 记忆系统以与查询无关的方式构建记忆，这可能带来不必要的预处理成本，并丢弃事后证明至关重要的细节。近期研究已开始将记忆处理转向运行时自适应，但通常专注于特定操作或固定处理方案，对性能、成本和延迟的灵活控制在很大程度上尚未被充分探索。为应对这一挑战，我们提出 MemPilot——一个灵活的框架，可在不同的性能-成本-延迟偏好下编排按需记忆整理。具体而言，我们通过强化学习（https://huggingface.co/papers?q=reinforcement%20learning）优化一个多步 LLM 策略，使其在从与查询无关的记忆中检索与将原始多模态历史的特定查询整理（https://huggingface.co/papers?q=query-specific%20curation）委托给异构 LLM 和 VLM（https://huggingface.co/papers?q=VLMs）之间迭代选择。该策略联合控制证据数量、整理指令、模型选择和视觉访问，从而实现运行时计算的细粒度分配。为在相互竞争的目标下优化该策略，我们采用逐目标优势解耦（https://huggingface.co/papers?q=objective-wise%20advantage%20decoupling），在聚合之前分别估计每个目标的优势。此外，我们引入基于前缀的边际效用估计（https://huggingface.co/papers?q=prefix-based%20marginal%20utility%20estimation），以在多步展开中实现细粒度的信用分配。在五个多模态 Agent 记忆基准上的实验表明，在不同优化偏好下均能取得有利的性能-成本-延迟权衡，偏好扫描产生的前沿范围比现有权衡感知基线更为宽广。

查看 arXiv 页面（https://arxiv.org/abs/2610.06830）查看 PDF（https://arxiv.org/pdf/2610.06830）项目页面（https://viktoraxelsen.github.io/MemPilot/）GitHub（https://github.com/ViktorAxelsen/MemPilot）加入收藏（https://huggingface.co/login?next=%2Fpapers%2F2610.06830）

在你的 Agent 中获取这篇论文：

hf papers read 2610.06830

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2610.06830 即可从本页面链接到该模型。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.06830 即可从本页面链接到该数据集。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.06830 即可从本页面链接到该 Space。

收录此论文的合集 0

没有合集收录此论文

将此论文加入合集（https://huggingface.co/new-collection）即可从本页面链接到它。