标签
本文提出了一种可学习的狄利克雷过程缓存，仅为新颖输入分配内存槽，使得缓存大小与独特项目数而非令牌数成比例，从而实现高效的关联回忆。它将DP-means聚类与循环骨干网络相结合，在关联回忆基准测试和真实世界数据流上展示了有效性。
这项工作提出对mLSTM循环模型的记忆矩阵进行正交化，以提高其在噪声关联回忆任务上的性能。实验表明，与基线mLSTM相比，使用牛顿-舒尔茨迭代进行只读正交化可提升验证准确率。
T-Mem 是一种新型长程对话记忆架构，能够同时支持描述性回忆和关联性回忆，涵盖查询与记忆共享表面特征的场景以及两者通过潜在语义弧相连的场景。该架构在 LoCoMo 和 LoCoMo-Plus 基准测试上达到了最先进水平。
本文介绍了通用三重潜在循环模型，该模型将令牌对交互压缩为潜在状态，并提出一种改进精确召回的门控关联检索变体。该混合模型在字节级WikiText-2和分词语言基准上优于Transformer，实现了高达41.9%的关联召回率（对比25%）。