论文页面 - Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory

来源：https://huggingface.co/papers/2607.27919

摘要

仅解码器语言模型将长期记忆和推理纠缠在单一参数集中，使得独立扩展记忆容量变得困难。Memory Decoder 引入了一个参数化长期记忆模块，但仅在相对较小的规模上进行了研究。在这项工作中，我们提出了 Memory Decoder at Scale，将记忆模型扩展到 6.9B 参数，并在 300B tokens 上进行预训练。在此数据规模下，索引和搜索的联合成本使得标准 Faiss 流水线不可行。我们通过一个用于 Faiss 索引和检索的分布式流水线，以及 kNN 分布的稀疏、批式加载来解决这一瓶颈。跨模型规模，我们发现与仅扩展基础模型相比，将更多参数分配给记忆能带来更好的参数-性能权衡。在 17 个基准测试上，将 6.9B 通用记忆与 Pythia-410M 配对可将其平均得分从 29.86 提升至 37.34，以总参数少 39% 的优势超过了 Pythia-12B（37.24）。对于从 0.6B 到 14B 的 Qwen3 Base 模型，1.7B 领域记忆在每个规模上都将三个领域的平均得分提升了超过 9 分。总体而言，我们的结果表明，独立扩展预训练记忆为提升语言模型性能提供了一条更具参数效率的路径。

查看 arXiv 页面 (https://arxiv.org/abs/2607.27919)查看 PDF (https://arxiv.org/pdf/2607.27919)项目页面 (https://rubin-wei.github.io/memory-decoder-at-scale/)GitHub0 (https://github.com/LUMIA-Group/MemoryDecoder-at-Scale)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.27919)

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.27919 以从此页面链接它。

引用此论文的数据集1

Rubin-Wei/MemoryDecoder-at-Scale-domain-data 查看器 • 约4小时前更新 • 11M • 9 (https://huggingface.co/datasets/Rubin-Wei/MemoryDecoder-at-Scale-domain-data)

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2607.27919 以从此页面链接它。

包含此论文的收藏集0

没有包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接它。