论文页面 - DuoMem: 通过双空间蒸馏实现高效的端侧记忆代理

来源：https://huggingface.co/papers/2606.29961

摘要

DuoMem 是一种双空间蒸馏框架，通过上下文空间和参数空间蒸馏，将大语言模型的程序性问题求解能力迁移至紧凑的学生模型，以极少的额外参数实现高性能并提升推理速度。

基于大语言模型（LLM）的智能体能够通过多轮与环境交互解决复杂的程序性任务，但这种能力通常依赖于大型模型、长上下文和重复推理调用。这使得先进的记忆增强型智能体难以部署在资源受限的设备上。我们提出 DuoMem，一种将程序性问题求解能力从大型教师模型迁移到紧凑学生模型的双空间蒸馏框架。DuoMem 在两个互补空间中进行蒸馏：（1）上下文空间蒸馏 —— 将学生模型生成的记忆替换为更高质量的教师模型生成的程序性记忆，并将其预置到学生模型的输入中；（2）参数空间蒸馏 —— 在成功的教师轨迹上微调轻量级 LoRA 适配器。在具身决策的挑战性基准 ALFWorld 上评估，DuoMem 将 4B 参数模型的成功率从 4.3% 提升至 77.9%，大幅缩小了与 72B 教师模型（87.1%）的差距，同时仅添加了不到 1000 万个可训练参数和几兆字节的预计算教师记忆。此外，经过 DuoMem 增强的 4B 模型在完成任务的物理时间上比 72B 教师模型快 3 倍以上，使其适合实时边缘部署，而这对教师模型来说极具挑战。跨越 2B–72B 参数的八个模型的广泛消融实验表明，两个蒸馏维度贡献互补。

查看 arXiv 页面 (https://arxiv.org/abs/2606.29961)查看 PDF (https://arxiv.org/pdf/2606.29961)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2606.29961)

在您的智能体中获取此论文：

hf papers read 2606.29961

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型引用此论文

在模型 README.md 中引用 arxiv.org/abs/2606.29961 即可从此页面链接。

引用此论文的数据集0

无数据集引用此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.29961 即可从此页面链接。

引用此论文的 Space0

无 Space 引用此论文

在 Space README.md 中引用 arxiv.org/abs/2606.29961 即可从此页面链接。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。