Rank-Order N-of-M Codes for Sparse Distributed Memory: 分离表示与学习效应在噪声鲁棒性中的影响及与当代神经形态架构的比较

arXiv:2607.02967v1 Announce Type: new 摘要：大型语言模型作为持续学习系统仍然存在局限性，这重新激发了人们对稀疏分布式内存（SDM）作为显式在线情景记忆的兴趣。CALM（Nechesov和Ruponen，2025）将其阈值二进制编码器识别为一个开放的设计问题。本文评估了排名顺序N选M编码（Furber等人，2007）作为替代方案。我们做出了三项贡献。首先，通过确认WheelSDM与RankOrderSDM之间的精确等价性（在10个种子上余弦相似度为1.0000），并重现RDLIF神经元在干扰下的已知发散行为，忠实的复现验证了已发表的架构。其次，多种子容量实验显示，在缩放配置下，RankOrderSDM在饱和状态下优于StandardSDM 13.4个百分点，在已发表架构规模下优于0.8个百分点。第三，BER鲁棒性实验分离了表示与学习效应，表明大的鲁棒性增益主要来自排名顺序编码与MAX-Hebbian学习的相互作用，而在匹配的学习条件下，仅编码器本身只提供微小的优势。在GloVe-100嵌入上的实验证实了这种微小但一致的编码优势在真实结构化数据上的效果，而句子嵌入在低存储负载下表现出天花板效应。辅助分析表明，理想化的排名顺序编码在四比特精度下的组件级编码能量仅为SpikingMamba的SI-LIF神经元的一半，尽管解码器成本主导了系统总能量。这些结果识别了原始排名顺序SDM架构中哪些组件为当代记忆增强型AI系统提供了可衡量的益处，为CALM等架构提供了实践指导。

# 稀疏分布式存储的秩序N选M编码：噪声鲁棒性中表征与学习效应的解耦及其对当代神经形态架构的影响
来源：https://arxiv.org/abs/2607.02967
文献工具

## 文献与引用工具

文献浏览器 切换

代码、数据、媒体

## 本文相关的代码、数据与媒体

演示

## 演示

相关论文

## 推荐与搜索工具

IArxiv 推荐器 切换

关于 arXivLabs

## arXivLabs：与社区贡献者合作的实验项目

arXivLabs 是一个框架，允许贡献者直接在我们的网站上开发和共享新的 arXiv 功能。

无论是与 arXivLabs 合作的个人还是组织，都已接受并认同我们关于开放性、社区精神、卓越品质以及用户数据隐私的价值观。arXiv 坚持这些价值观，并仅与遵守这些价值观的伙伴合作。

有一个能为 arXiv 社区增加价值的项目想法？**详细了解 arXivLabs** (https://info.arxiv.org/labs/index.html)。