@GaryMarcus：我年纪够大，还记得 @GeoffreyHinton 曾因我说 LLM 会复述训练数据而说我愚蠢。他……
摘要
Gary Marcus 强调了 DeepMind 的最新研究，证实 LLM 频繁记忆并复述训练数据，以此反驳 Geoffrey Hinton 过去的批评。该帖子凸显了关于 LLM 局限性及其现实能力的持续辩论。
我年纪够大，还记得 @GeoffreyHinton 曾因我说 LLM 会复述训练数据而说我愚蠢。他错了。LLM 复述现在是该领域最确凿的发现之一。以下是新 DeepMind 论文的摘录；每一篇论文都显示 Hinton 错了。（另外：还在等待 AI 取代放射科医生。）
相似文章
@geoffreyhinton：我相信你说过它们仅仅是（我特意大写）复述训练数据。这确实太蠢了。这里有你的一段话："它简…"
Geoffrey Hinton 反驳 Gary Marcus 关于语言模型仅仅是复述训练数据的说法，并引用了 Marcus 本人的话。
大语言模型能泄露训练数据，但它们愿意吗？对LLM记忆的倾向性感知评估
PropMe是一个倾向性感知框架，用于评估LLM的记忆，区分强制复现能力和自然倾向，使用SimpleTrace在开放模型和数据集上进行确定性归因。
@rohanpaul_ai: 伊利诺伊大学和清华大学等实验室的新研究发现，LLM代理的记忆仍然不可靠，并且可能…
伊利诺伊大学和清华大学的一项研究发现，当不断重写LLM代理的记忆时，其记忆变得不可靠，在ARC-AGI任务上性能从100%下降到54%。该论文提出应保留原始经历，而不是总是进行总结。
当被 LLM 持续更新时，有用的记忆会变得有缺陷（30 分钟阅读）
这项研究表明，即使基于真实解进行训练，通过蒸馏和巩固循环持续更新 LLM 智能体记忆也会导致性能倒退。研究发现，仅保留情景记忆优于基于文本的巩固，突显了当前自我改进范式的重大缺陷。
STALE：LLM智能体能否识别记忆何时失效？
本文识别了LLM智能体中的一个关键失效模式：当新证据与先前信念冲突时，它们无法更新个性化记忆。本文引入了STALE基准和一个三维探测框架，揭示了即使最佳模型也仅达到55.2%的准确率，并提出了CUPMem作为鲁棒记忆修正的原型。