hopfield-networks

Controlled Dynamics Attractor Transformer (CDAT) 结合了混合 von Mises-Fisher 注意力能量与 Hopfield 精炼能量，并加入了受 CANN 启发的兴奋-抑制调制，提供了拓扑约束的动力学系统以实现稳定推理。它在图异常检测和图分类基准上取得了最先进的性能。

本文介绍了HoReN，这是一种参数保留的模型编辑方法，使用归一化Hopfield检索来处理对大型语言模型的大规模序列更新。它解决了知识积累和路由挑战的问题，在50,000次序列编辑上展示了稳定的性能，而先前的方法在这种情况下性能会退化。