记忆工具如何让AI模型变得更糟
摘要
Writer的新研究表明,旨在个性化AI模型的记忆工具实际上会通过引入谄媚和偏见来降低准确性,因为模型更可能同意用户的错误或无关偏好。
新研究表明,AI记忆系统可能会降低模型性能并鼓励谄媚倾向。
查看缓存全文
缓存时间: 2026/06/10 17:45
# 记忆工具如何让AI模型变得更糟 | TechCrunch
来源:https://techcrunch.com/2026/06/10/how-memory-tools-can-make-ai-models-worse/
现代AI系统最大的卖点之一,就是它们能够适应用户。每次AI助手为你完成一项任务时,它也在适应你的风格和偏好,并将这些信息作为未来任务的上下文。拥有更多上下文和对用户更深入的理解后,模型每次使用都可能变得更好——至少理论上是这样。
但新的研究表明,模型的适应能力可能是一把双刃剑。周三,AI公司Writer(https://writer.com/engineering/personalized-context-degrades-ai-accuracy/)的研究人员发表了两篇论文(https://openreview.net/pdf?id=0Xt1qZ5xdW)(https://arxiv.org/abs/2604.24668),展示了流行的记忆系统如何让模型变得更糟——它们会将模型拉向用户引入的错误观念或误解。随着用户输入填满模型更多上下文窗口,模型会变得更加谄媚,而对准确性的关注则越来越少。
“我们希望量化模型在多大程度上能有效关注用户偏好,又在多大程度上可能给出错误答案,”Writer的AI负责人丹·比克尔(Dan Bikel)说,他参与了这些论文的工作。比克尔告诉TechCrunch:“每多存储和检索一次用户偏好,你就会增加一分风险。”
在一项变体实验中,研究人员记录下用户的“最爱书籍”是《十一站》,然后让模型列举一本畅销的反乌托邦小说。模型在回答中更倾向于列出《十一站》,即使问题与用户的最爱书籍无关。当使用记忆压缩工具(如Mem0(https://mem0.ai/)和Zep(https://www.getzep.com/))时,这种倾向还会加强。
正如论文所述:“所有记忆系统都难以区分相关上下文与无关锚点,这严重削弱了多样性和创造力,并引入了意想不到的偏见路径,可能限制系统的实用性。”
第二篇论文展示了同样的动态如何主动降低性能:向用户呈现关于金融的错误观念,然后让模型分析一家公司的表现。模型拥有的上下文越多,表现就越差。
“在没有记忆或个性化的情况下,AI模型正确判断出该公司是一家资本密集型、客户流失率高的企业,”博文中写道。“但一旦开启这些功能,模型就会愉快地改变答案,去附和用户的错误,或者根据其对用户早期偏好的评估,给出一个错误答案。”
值得注意的是,这项研究并未涉及Anthropic近期发布的Opus 4.8模型——该模型经过训练,会主动反驳输入错误(https://techcrunch.com/2026/05/28/anthropic-releases-opus-4-8-with-new-dynamic-workflow-tool/)。研究人员发现的模式在不同模型中普遍存在。这展示了AI上下文的平衡有多么微妙,以及有用的工具一旦打破这种平衡,可能带来意想不到的后果。
*当您通过我们文章中的链接购买商品时,我们可能会获得少量佣金(https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。这并不影响我们的编辑独立性。*
拉塞尔·布兰登(Russell Brandom)自2012年起报道科技行业,重点关注平台政策和新兴技术。他曾任职于The Verge和Rest of World,并为Wired、The Awl和MIT技术评论撰稿。可通过[email protected]或Signal(412-401-5489)联系他。
查看作者简介(https://techcrunch.com/author/russell-brandom/)
相似文章
AI记忆产品优化方向错误
本文指出,当前的AI记忆产品优先考虑个性化而非真实性和可问责性,导致系统积累矛盾且无法可靠修正;文章质疑个性化是否足以用于生产环境。
AI记忆系统使用时间越长,越难信任
AI记忆系统随着时间的推移往往会回忆起过时或错误的信息,凸显了为AI智能体维护长期记忆信任度的挑战。
AI工具是否让我们更擅长管理信息,还是更不擅长记住信息?
一篇反思性文章,探讨使用AI工具管理个人健康信息如何将我们的依赖从记忆转向外部系统,并提出便利性对认知影响的问题。
AI记忆正成为新的技术债务。
文章警告说,虽然AI记忆系统在演示中令人印象深刻,但它们常常导致过时的事实、冲突的偏好和损坏的摘要,从而造成未来的调试噩梦和技术债务。
@Vincent_AINotes: https://x.com/Vincent_AINotes/status/2073746845386629134
本文探讨了AI个性化带来的迎合用户偏好的风险,引用多项研究表明长期记忆可能增加模型同意的倾向。作者提出了对抗确认偏误的方法,包括使用独立会话和Andrej Karpathy的LLM Council多模型评审团,并给出了手动搭建评审团的步骤。