论文页面 - 通过目标端读取器适配实现跨模型记忆迁移

来源: https://huggingface.co/papers/2608.17050

摘要

跨模型重用冻结的外部记忆表主要依赖于对齐一个轻量级的目标端读取器，而非仅调整记忆内容本身，这使得可复用的知识构件成为可能，并支持可选的适配。

改进大型语言模型知识使用的方法通常分为两类。非参数检索提供了灵活访问外部知识的途径，但增加了检索延迟、上下文开销，并且与主干的集成较为浅层。参数适配在推理时效率较高，但将知识与模型权重纠缠在一起，可能导致难以更新、审计或迁移。Engram (https://huggingface.co/papers?q=Engram) 风格的哈希记忆 (https://huggingface.co/papers?q=hashed%20memory) 介于两者之间：它将学习到的信息存储在外部可寻址表中，但通过一个小型学习读取器来使用该表。这引发了一个基本问题：当此类记忆在不同主干模型间迁移时，是冻结的记忆本身更重要，还是目标端读取器更重要？我们通过跨模型冻结记忆提取 (https://huggingface.co/papers?q=cross-model%20frozen-memory%20extraction) 研究了这个问题。在此过程中，在源模型上训练的记忆被冻结并附加到不同的目标模型上，仅训练一个轻量级读取器。消融研究表明，学习的记忆内容和正确的寻址方式都很重要，但迁移的表只有在通过对齐到目标模型的读取器后才变得有用。在下游问答任务中，一个双层四分支读取器几乎弥合了同模型重用与跨模型重用之间的差距，在我们的受控评估协议下取得了38.8的平均分。此外，当提供者读取器直接兼容目标接口时，冻结构件无需目标端训练即可提供显著效用，而可选的读取器适配能进一步带来提升。这些结果表明，Engram (https://huggingface.co/papers?q=Engram) 可以作为可复用的外部知识构件，前提是目标端能够访问兼容的读取器接口；当直接重用读取器不足时，目标端适配可进一步改善对齐效果。

查看 arXiv 页面 (https://arxiv.org/abs/2608.17050)查看 PDF (https://arxiv.org/pdf/2608.17050)项目页面 (https://www.olaresearch.org/XMemTransfer/)GitHub (https://github.com/OLAResearch/XMemTransfer)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.17050)

在您的智能体中获取此论文：

hf papers read 2608\.17050

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.17050 以将其链接到此页面。

引用此论文的数据集 0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.17050 以将其链接到此页面。

引用此论文的 Space 0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2608.17050 以将其链接到此页面。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以将其链接到此页面。