geometric-memorization

本文介绍了 Transformer 中几何事实记忆的理论框架，证明了嵌入可以通过线性叠加来编码关系结构，而 MLP 则充当选择器。文章提供了理论和实证证据，表明这种机制能够高效地记忆事实和进行多跳查询。