AI是否真正需要长期记忆,还是扩大上下文窗口就足够了?

Reddit r/AI_Agents 新闻

摘要

本文讨论了AI模型是否需要专门的长期记忆系统(如RAG)还是扩大上下文窗口就足够了,提出了两种方法的论点,并寻求社区反馈。

我一直在关注大型语言模型(LLMs)的最新发展,特别是关于长期记忆(RAG/向量数据库)和大上下文窗口(如超过100万token)之间的争论。这让我思考:模型是否真的需要类似人类的记忆系统,还是我们把事情复杂化了? 支持长期记忆(RAG / 知识图谱)的论点: 成本与速度:在每个提示中输入数百万token计算成本高昂且速度慢。 类似人类的动态:真正的智能不会每次说话都重新加载整个生活历史。它会检索相关记忆,更新信念,并忘记不相关的内容。 个性化:结构化的长期记忆使AI代理能够随着用户在数月或数年中真正成长,而不会空间不足。 支持无限上下文窗口的论点: 无信息丢失:RAG经常错过细微差别或检索到错误的片段。大上下文窗口直接读取所有内容。 简单性:如果模型能直接处理整个文档/历史,为什么还要构建复杂的检索管道、嵌入和向量数据库? 推理能力:高注意力上下文允许模型在可能被检索算法分开的遥远信息片段之间建立联系。 我向社区提出的问题:我们是否正朝着这样一个未来迈进,其中“记忆”只是一个优化的、持久的上下文窗口,还是说专门的记忆架构(情景记忆、语义记忆、程序性记忆)对于真正的AI代理始终是必要的?目前你处理长期交互的设置是什么?
查看原文

相似文章