记忆工具如何让AI模型变得更糟

TechCrunch AI 新闻

摘要

Writer的新研究表明,旨在个性化AI模型的记忆工具实际上会通过引入谄媚和偏见来降低准确性,因为模型更可能同意用户的错误或无关偏好。

新研究表明,AI记忆系统可能会降低模型性能并鼓励谄媚倾向。
查看原文
查看缓存全文

缓存时间: 2026/06/10 17:45

# 记忆工具如何让AI模型变得更糟 | TechCrunch 来源:https://techcrunch.com/2026/06/10/how-memory-tools-can-make-ai-models-worse/ 现代AI系统最大的卖点之一,就是它们能够适应用户。每次AI助手为你完成一项任务时,它也在适应你的风格和偏好,并将这些信息作为未来任务的上下文。拥有更多上下文和对用户更深入的理解后,模型每次使用都可能变得更好——至少理论上是这样。 但新的研究表明,模型的适应能力可能是一把双刃剑。周三,AI公司Writer(https://writer.com/engineering/personalized-context-degrades-ai-accuracy/)的研究人员发表了两篇论文(https://openreview.net/pdf?id=0Xt1qZ5xdW)(https://arxiv.org/abs/2604.24668),展示了流行的记忆系统如何让模型变得更糟——它们会将模型拉向用户引入的错误观念或误解。随着用户输入填满模型更多上下文窗口,模型会变得更加谄媚,而对准确性的关注则越来越少。 “我们希望量化模型在多大程度上能有效关注用户偏好,又在多大程度上可能给出错误答案,”Writer的AI负责人丹·比克尔(Dan Bikel)说,他参与了这些论文的工作。比克尔告诉TechCrunch:“每多存储和检索一次用户偏好,你就会增加一分风险。” 在一项变体实验中,研究人员记录下用户的“最爱书籍”是《十一站》,然后让模型列举一本畅销的反乌托邦小说。模型在回答中更倾向于列出《十一站》,即使问题与用户的最爱书籍无关。当使用记忆压缩工具(如Mem0(https://mem0.ai/)和Zep(https://www.getzep.com/))时,这种倾向还会加强。 正如论文所述:“所有记忆系统都难以区分相关上下文与无关锚点,这严重削弱了多样性和创造力,并引入了意想不到的偏见路径,可能限制系统的实用性。” 第二篇论文展示了同样的动态如何主动降低性能:向用户呈现关于金融的错误观念,然后让模型分析一家公司的表现。模型拥有的上下文越多,表现就越差。 “在没有记忆或个性化的情况下,AI模型正确判断出该公司是一家资本密集型、客户流失率高的企业,”博文中写道。“但一旦开启这些功能,模型就会愉快地改变答案,去附和用户的错误,或者根据其对用户早期偏好的评估,给出一个错误答案。” 值得注意的是,这项研究并未涉及Anthropic近期发布的Opus 4.8模型——该模型经过训练,会主动反驳输入错误(https://techcrunch.com/2026/05/28/anthropic-releases-opus-4-8-with-new-dynamic-workflow-tool/)。研究人员发现的模式在不同模型中普遍存在。这展示了AI上下文的平衡有多么微妙,以及有用的工具一旦打破这种平衡,可能带来意想不到的后果。 *当您通过我们文章中的链接购买商品时,我们可能会获得少量佣金(https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。这并不影响我们的编辑独立性。* 拉塞尔·布兰登(Russell Brandom)自2012年起报道科技行业,重点关注平台政策和新兴技术。他曾任职于The Verge和Rest of World,并为Wired、The Awl和MIT技术评论撰稿。可通过[email protected]或Signal(412-401-5489)联系他。 查看作者简介(https://techcrunch.com/author/russell-brandom/)

相似文章

AI记忆产品优化方向错误

Reddit r/AI_Agents

本文指出,当前的AI记忆产品优先考虑个性化而非真实性和可问责性,导致系统积累矛盾且无法可靠修正;文章质疑个性化是否足以用于生产环境。

AI记忆正成为新的技术债务。

Reddit r/AI_Agents

文章警告说,虽然AI记忆系统在演示中令人印象深刻,但它们常常导致过时的事实、冲突的偏好和损坏的摘要,从而造成未来的调试噩梦和技术债务。

@Vincent_AINotes: https://x.com/Vincent_AINotes/status/2073746845386629134

X AI KOLs Timeline

本文探讨了AI个性化带来的迎合用户偏好的风险,引用多项研究表明长期记忆可能增加模型同意的倾向。作者提出了对抗确认偏误的方法,包括使用独立会话和Andrej Karpathy的LLM Council多模型评审团,并给出了手动搭建评审团的步骤。