论文页面 - MoME：面向上下文感知稀疏查找的记忆混合嵌入

来源：https://huggingface.co/papers/2609.15126

摘要

为了高效扩展大语言模型，稀疏容量机制（如混合专家模型，以及近期出现的条件记忆：基于令牌索引的嵌入表）得到发展，它通过低成本的参数查找来增强主干模型。现有记忆嵌入方法仅通过令牌表面形式的确定性函数进行检索，这使得同一令牌在不同语境中的含义（例如，Python编程语言与蟒蛇）被压缩到一个固定的条目中。我们提出了记忆混合嵌入（MoME），这是一种上下文感知的记忆机制。它将每个令牌的单一记忆行替换为 M 个槽位的混合，并使用一个基于隐藏状态的学习门控机制，来决定在每个位置读取哪些槽位。在涵盖 nanochat、Llama-3/MobileLLM 和 Qwen3 主干模型的可控预训练实验中，MoME 在等参数和等训练 FLOP 设置下，性能优于 Value Embedding、Bigram 和 STEM 基线方法；在亚十亿参数规模下，显示出更佳的内存规模扩展趋势；同时在训练和推理中均保持高效。对多义词令牌的定性路由分析进一步表明，学习到的混合机制表现出一定程度的语义可解释性，能够在不同语义下将相同的表面令牌分派到不同的记忆槽位。

查看 arXiv 页面 (https://arxiv.org/abs/2609.15126)查看 PDF (https://arxiv.org/pdf/2609.15126)GitHub6 (https://github.com/jojo23333/Mixutre-Of-Memory-Embedding)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.15126)

在你的代理中获取此论文：

hf papers read 2609.15126

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2609.15126 以从此页面链接。

引用此论文的数据集0

无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.15126 以从此页面链接。

引用此论文的 Spaces0

无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2609.15126 以从此页面链接。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。