更大的上下文窗口对智能体来说其实是错误的方向吗？

Reddit r/AI_Agents 新闻
context-window agent-memory ai-agents coding-agent stateless-model memory-management long-session

摘要

作者质疑将注意力集中在扩大AI智能体的上下文窗口上是否适得其反，认为积累的垃圾信息会拖慢长时间会话，并建议保持工作上下文小巧、使用外部记忆。

我构建编码智能体已有数月，但总有一个奇怪的想法挥之不去：我们是不是在智能体记忆问题上找错了方向？大量精力似乎都花在扩大上下文窗口上——更多历史记录、更多摘要、更多重放、提示中塞入更多内容。诚然，更大的上下文很有用。但我参与过的每个长期运行智能体，最终都开始拖累垃圾信息：旧的调试尝试、几小时前就被放弃的计划、不再成立的假设、无关紧要的闲聊。到某个节点，这更像是杂乱而非记忆。因此近来我怀疑，更好的方法几乎恰恰相反：保持工作上下文精简，将记忆存储在其他地方，仅按需拉取智能体当前真正需要的内容。本质上就是把模型当作无状态来对待——因为它本就是如此。也许我忽略了某些显而易见的东西，但直觉告诉我，长时间会话的失败更多源于积累的垃圾，而非缺乏上下文。对于那些运行智能体成百上千次迭代的人而言，你们觉得这个思路会在哪里失效？最先出问题的是什么？
查看原文

相似文章

不要轻信大上下文窗口

Hacker News Top

分析表明，LLM 声称的大上下文窗口具有误导性，因为有效注意力在约 10 万 token 时会下降。为开发者提供实用建议：通过使用工件（artifacts）和切换（handoffs）将会话保持在“智能区”。