标签
Pebble ML 的一篇论文提出了一种小型 DeltaNet 变体，它通过固定的 token 级键偏置，在一个固定的 32 KiB 循环矩阵状态中，为每条序列学习 32 个键值对关联。即使面对冗长的填充上下文，该模型仍能实现 99.95% 的检索准确率；而参数量相当的向量基线和 Transformer 基线均无法学会该任务。
本文通过将记忆表述为 Epanechnikov 核密度模态搜索，在 Riemann 流形上构建了内在的稠密联想记忆，表明曲率——借助 Ricci 曲率阈值与测地线容量标度律——决定了这类记忆会保留、创造和遗忘哪些内容，并在 WordNet 名词层级结构上进行了验证。
本文研究基于梯度的训练是否能学习存储和组合矩阵记忆中关联所需的秩，通过使用键值对进行实验并以余弦相似度衡量恢复率。
本文分析了一类具有隐藏神经元的联想记忆，使用复制方法推导了相图和存储容量，并将其与transformers中的softmax注意力联系起来。
介绍了卡尔曼增量网络，该网络通过将线性注意力重新表述为带有卡尔曼滤波更新的线性高斯状态空间模型来改进语言建模，以追踪记忆不确定性，从而产生比现有线性注意力模型性能更优的高效近似。
本文介绍了SSAKG 2.0，一个用于构建和操作结构序列关联知识图谱（SSAKGs）的开源软件包，以实现基于上下文的序列检索，并提供了在Python和C中实现的新高效算法。
GoldWorm 是一个用 Rust 编写的原生认知引擎，利用秀丽隐杆线虫的 302 个神经元连接组（经过生物学映射），通过透明、零信任架构处理语言，具备双流处理机制和赫布型联想记忆功能。
本文提出H-Res，一种通过塑形关联记忆的能量景观来适应大型Transformer模型的方法，无需修改权重或添加提示，保留了记忆容量，且性能优于LoRA。
介绍FERNme，这是一个面向AI智能体的开源记忆层，使用模糊Hebbian图模拟联想记忆，支持零LLM写入、持久化、遗忘及用户所有权等功能。
本文研究Engram模块（一种关联记忆机制）在自回归图像生成中是提供内容可寻址检索，还是仅作为门控架构的侧通路。
Tensor Cache 引入了一种两级缓存机制，将滑动窗口注意力中驱逐的键值对压缩成固定大小的关联记忆，从而在无需无界内存增长的情况下改进长上下文语言建模。
本文介绍了变分线性注意力（VLA），这是一种用于稳定长上下文 Transformer 中线性注意力机制记忆状态的方法。VLA 将记忆更新重构为在线正则化最小二乘问题，证明了状态范数的有界性，并展示了相较于标准线性注意力和 DeltaNet 显著的速度提升以及更高的检索准确性。
# HeLa-Mem: Hebbian Learning and Associative Memory for LLM Agents 来源：[https://arxiv.org/html/2604.16839](https://arxiv.org/html/2604.16839) Jinchang Zhu1,∗,a, Jindong Li1,∗, Cheng Zhang2,∗, Jiahong Liu3, Menglin Yang1,†,b 1香港科技大学（广州） 2吉林大学 3香港中文大学 [email protected] [email protected] ∗同等贡献 †通讯作者 ###### 摘要 长...