AI是否真正需要长期记忆,还是扩大上下文窗口就足够了?
摘要
本文讨论了AI模型是否需要专门的长期记忆系统(如RAG)还是扩大上下文窗口就足够了,提出了两种方法的论点,并寻求社区反馈。
我一直在关注大型语言模型(LLMs)的最新发展,特别是关于长期记忆(RAG/向量数据库)和大上下文窗口(如超过100万token)之间的争论。这让我思考:模型是否真的需要类似人类的记忆系统,还是我们把事情复杂化了?
支持长期记忆(RAG / 知识图谱)的论点:
成本与速度:在每个提示中输入数百万token计算成本高昂且速度慢。
类似人类的动态:真正的智能不会每次说话都重新加载整个生活历史。它会检索相关记忆,更新信念,并忘记不相关的内容。
个性化:结构化的长期记忆使AI代理能够随着用户在数月或数年中真正成长,而不会空间不足。
支持无限上下文窗口的论点:
无信息丢失:RAG经常错过细微差别或检索到错误的片段。大上下文窗口直接读取所有内容。
简单性:如果模型能直接处理整个文档/历史,为什么还要构建复杂的检索管道、嵌入和向量数据库?
推理能力:高注意力上下文允许模型在可能被检索算法分开的遥远信息片段之间建立联系。
我向社区提出的问题:我们是否正朝着这样一个未来迈进,其中“记忆”只是一个优化的、持久的上下文窗口,还是说专门的记忆架构(情景记忆、语义记忆、程序性记忆)对于真正的AI代理始终是必要的?目前你处理长期交互的设置是什么?
相似文章
AI是否真的在长对话中更好地理解上下文,还是仍然容易失效?
本文探讨了AI模型在长对话中维持上下文的局限性,重点指出了近期偏差以及上下文窗口大小与实际理解之间的区别。文章还建议了一些实用的变通方法,如重复说明约束条件和使用持续更新的上下文文档。
更大的上下文窗口对智能体来说其实是错误的方向吗?
作者质疑将注意力集中在扩大AI智能体的上下文窗口上是否适得其反,认为积累的垃圾信息会拖慢长时间会话,并建议保持工作上下文小巧、使用外部记忆。
@ZhihuFrontier: Long-Horizon Agents Need More Than Bigger Context Windows AI Agents are moving from short conversations into software e…
A new survey from Renmin University reviews nearly 1,000 studies on long-horizon AI agents, arguing that reliable long-horizon intelligence depends on the whole model-harness system, not just larger context windows or stronger models.
面向AI智能体的长上下文窗口可寻址召回压缩
ARC通过将仅追加存储与有界引用视图分离,提高了长上下文AI智能体的检索效率和准确率,实现了近乎完美的召回率,同时降低了延迟和带宽消耗。
上下文至关重要,但上下文腐烂才是AI智能体的真正上限,更大的上下文窗口只会让情况更糟而非更好
文章认为,上下文腐烂(即随着上下文填充导致推理质量下降)是AI智能体的真正上限,而非上下文窗口大小。它提倡采用架构方法分解任务并使用独立验证来超越限制。