标签
本文提出,人工智能记忆巩固应跨域重组知识(如同梦境),而非单纯重放经验,并证明跨域巩固在神经(LoRA微调)和符号系统中均能提升性能。
本文提出将模拟神经形态硬件上的固有器件噪声作为持续学习的资源,通过条件化每个权重的随机动力学以避免跨越记忆关键势垒,展示了非单调的保持性能提升,并在BrainScaleS-2硅基芯片上进行了验证。
提出一种面向LLM代理中代理记忆的认知启发的多因素价值函数,通过学习可解释的权重来决定在记忆约束下编码、遗忘和检索什么。相比仅基于相似性或基于最近性的基线方法,显著提高了黄金证据的保留率。
FadeMem 引入了一种距离感知的键值记忆整合机制,将历史视频数据组织成时间层次结构,在固定缓存约束下改进长视频生成。
本文提出了一种针对大型语言模型的“睡眠”范式,该范式通过记忆巩固和梦境阶段实现持续学习,使模型能够将短期知识提炼为长期参数,并在无需人工监督的情况下自我改进。
本文提出了一种类似睡眠的巩固机制,适用于基于Transformer的大语言模型,该机制定期将最近上下文转换为SSM块中的持久快速权重,清除KV缓存,从而在不增加推理延迟的情况下提升长期推理能力。
Auto-Dreamer 提出了一种针对语言代理的离线记忆整合学习方法,将快速记忆获取与慢速跨会话整合解耦,以更小的记忆库实现更高性能,并泛化到未见环境。