论文页面 - Transformer 中的几何事实回忆

来源：https://huggingface.co/papers/2605.12426

摘要

Transformer 语言模型使用几何记忆机制，其中嵌入编码属性的线性叠加，而 MLP 充当关系条件选择器，而非关联键值映射。

Transformer 语言模型（https://huggingface.co/papers?q=transformer%20language%20models）如何记忆事实关联？一种常见观点将内部权重矩阵（https://huggingface.co/papers?q=internal%20weight%20matrices）视为嵌入对上的关联记忆（https://huggingface.co/papers?q=associative%20memories），这需要参数数量随事实数量线性增长。我们提出了一种替代的记忆形式的理论和实证解释，即几何形式的记忆：学习到的嵌入直接编码关系结构，MLP（https://huggingface.co/papers?q=MLP）发挥定性不同的作用。在控制环境中，单层 Transformer 需要记忆从主体到共享属性集的随机双射，我们证明对数级嵌入维度（https://huggingface.co/papers?q=embedding%20dimension）即足够：主体嵌入编码其关联属性向量的线性叠加（https://huggingface.co/papers?q=linear%20superpositions），而小型 MLP（https://huggingface.co/papers?q=MLP）充当关系条件选择器，通过 ReLU 门控（https://huggingface.co/papers?q=ReLU%20gating）提取相关属性，而非作为关联键值映射。我们将这些结果扩展到多跳设置——关系查询链（https://huggingface.co/papers?q=relational%20queries），如“x 的妻子的母亲是谁？”——提供了有或无思维链（https://huggingface.co/papers?q=chain-of-thought）的构造，表现出可证明的容量-深度权衡，并辅以匹配的信息论下界（https://huggingface.co/papers?q=information-theoretic%20lower%20bound）。实证上，梯度下降（https://huggingface.co/papers?q=gradient%20descent）发现了具有精确预测结构的解。训练完成后，当主体嵌入适当重新初始化时，MLP（https://huggingface.co/papers?q=MLP）零样本迁移到全新的双射，揭示其学习了通用选择机制而非记忆特定事实集。

查看 arXiv 页面（https://arxiv.org/abs/2605.12426）查看 PDF（https://arxiv.org/pdf/2605.12426）添加到收藏集（https://huggingface.co/login?next=%2Fpapers%2F2605.12426）

在您的 agent 中获取此论文：

hf papers read 2605\.12426

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2605.12426 以从此页面链接。

引用此论文的数据集 0

暂无链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2605.12426 以从此页面链接。

引用此论文的应用空间 0

暂无链接此论文的应用空间

在应用空间 README.md 中引用 arxiv.org/abs/2605.12426 以从此页面链接。

包含此论文的收藏集 0

暂无包含此论文的收藏集

将此论文添加到收藏集（https://huggingface.co/new-collection）以从此页面链接。