测试离散拓扑是否比连续权重更持久的内存介质——可能不是……大概[R]

我进行了一项受控比较，针对冻结语言模型的两种"原位写入"内存适配器：一种编辑连续权重，另一种（EPMem）保持权重冻结和随机，并通过直通估计仅编辑二进制边掩码。存储位和写入步骤在两者之间匹配。在持续事实写入基准（TinyStories-33M）上，EPMem能很好地写入事实，但忘记它们的速度与连续适配器一样快，整体表现较差，并且需要更多的写入步骤才能达到相同效果。从机制上看：每次写入的干扰与掩码翻转次数F的平方根成正比，并且保留率衰减速度快于随机碰撞的零假设——因此，掩码学习的梯度并非偶然碰撞，而是选择性地重新翻转已经在存储某些内容的边缘（反巩固，而非中性覆写）。在Pythia-410M上复现：相同模式，更明显——规模使写入更容易，但保留更差。结论：确实避免忘记的二进制掩码方法（SupSup、WSN等）之所以有效，是因为它们显式地强制写入之间的非重叠分配，而不是因为离散性本身能抵抗遗忘。基质不是杠杆——写入/分配规则才是。论文：https://zenodo.org/records/22071715 (DOI: 10.5281/zenodo.22071715) 真正感兴趣于反驳——特别是这是否在事实写入任务之外也成立，或者是否是直通估计特有的假象。