更大的窗口解决了适配问题,但其他三个问题呢?
摘要
本文讨论了AI模型中更大的上下文窗口如何解决适配问题,但未能解决会话间记忆丢失和准确性下降等问题,强调了持续改进记忆的必要性。
目前上下文窗口已达到百万令牌,Llama 4 Scout达到一千万,而Magic则拥有一亿令牌的模型。这确实很棒,我希望它能继续发展。我不太确定的是随之而来的假设,即一旦窗口足够大,记忆就不再重要。在我看来,这更像是两项独立的投资,而不是一项取代另一项。更大的窗口解决了适配问题,这是一个值得解决的实际问题。但会话仍然会结束,下一个会话仍从零开始,准确性随着添加更多内容而下降,每次还需重新处理相同上下文。Chroma的上下文腐化研究测试了18个模型,发现性能在远未达到实际限制时就已下降,即使单个无关干扰项也会显著损害准确性,因此适配窗口和有效使用窗口并非完全相同。这就是为什么我认为记忆必须独立持续改进,通过诸如近期处理和对返回内容的置信度信号等方式,而不是等待窗口自行扩大。想了解大家对此的看法,以及目前实际遇到的问题是什么。
相似文章
AI是否真正需要长期记忆,还是扩大上下文窗口就足够了?
本文讨论了AI模型是否需要专门的长期记忆系统(如RAG)还是扩大上下文窗口就足够了,提出了两种方法的论点,并寻求社区反馈。
更大的上下文窗口对智能体来说其实是错误的方向吗?
作者质疑将注意力集中在扩大AI智能体的上下文窗口上是否适得其反,认为积累的垃圾信息会拖慢长时间会话,并建议保持工作上下文小巧、使用外部记忆。
@N01ennn: 更大的上下文窗口是死路一条。这篇论文证明了这一点。一项新的CS调查悄然重新定义了整个游戏:事情…
一条推文重点介绍了一篇CS调查论文,该论文认为更大的上下文窗口是死路一条,而记忆工程——将智能体的记忆视为操作系统——才是将真正的AI智能体与自动补全区分开来的关键,使无状态模型能够自我进化。
更大的上下文窗口并未解决企业记忆问题——原因如下
本文批评了LLM中不断扩大上下文窗口的趋势,认为由于检索退化、数据量和缺乏结构,这并不能解决企业知识问题。文章主张在检索之前建立知识建模层,以映射关系和意图。
上下文至关重要,但上下文腐烂才是AI智能体的真正上限,更大的上下文窗口只会让情况更糟而非更好
文章认为,上下文腐烂(即随着上下文填充导致推理质量下降)是AI智能体的真正上限,而非上下文窗口大小。它提倡采用架构方法分解任务并使用独立验证来超越限制。