@neural_avb: 构建LLM记忆系统存在两到三种完全不同的思想流派。当谈到…
摘要
讨论构建LLM记忆系统的不同思想流派,重点关注图记忆及其对人类创造力和归纳偏置的潜力。
构建LLM记忆系统存在两到三种完全不同的思想流派。
具体谈到图记忆时,要么你是信徒,要么不是。没有中间地带。
这是人类创造力和归纳偏置发挥最大空间的方法……因此也是最不'bitter-lesson'化的。
查看缓存全文
缓存时间: 2026/06/20 18:21
在构建LLM记忆系统方面,存在两到三种完全不同的思想流派。
具体到图记忆,你要么是信徒,要么不是。没有中间地带。
它是最能发挥人类创造力和归纳偏见的领域……因此也是最不“苦果”化的。
相似文章
@neural_avb: 关于LLM智能体图记忆的最新论文
一篇新论文介绍了适用于LLM智能体的图记忆。
受人类启发的LLM智能体记忆架构
微软研究人员提出了一种受生物学启发的LLM智能体记忆架构,该架构结合了睡眠阶段巩固和基于干扰的遗忘机制,以高效管理持久性记忆。
内存
解释了为什么由于KV缓存随上下文长度和并发用户数扩展,LLM推理越来越受内存带宽限制,以及像vLLM和PagedAttention这样的系统如何提高内存利用率。
@oneill_c: https://x.com/oneill_c/status/2077453217609453784
一位研究人员讨论了LLMs中的持续学习挑战,将其比作健忘的实习生,并探索了扩展上下文窗口、构建有状态记忆以及将上下文压缩为潜在表示等方法,引用了他们在Still上的工作。
@dair_ai: // 记忆即模型 // 该论文为任何LLM增加一个单独训练的记忆模型,用于存储、检索和整合…
MeMo 引入了一种模块化记忆模型,可为任何 LLM 增强存储、检索和整合新知识的能力,无需重新训练或担心灾难性遗忘。它在 BrowseComp-Plus、NarrativeQA 和 MuSiQue 等基准测试上优于基于 RAG 的方法。