@GaryMarcus：我年纪够大，还记得 @GeoffreyHinton 曾因我说 LLM 会复述训练数据而说我愚蠢。他……

X AI KOLs Following 新闻
llm-memorization training-data ai-research deepmind ai-debate

摘要

Gary Marcus 强调了 DeepMind 的最新研究，证实 LLM 频繁记忆并复述训练数据，以此反驳 Geoffrey Hinton 过去的批评。该帖子凸显了关于 LLM 局限性及其现实能力的持续辩论。

我年纪够大，还记得 @GeoffreyHinton 曾因我说 LLM 会复述训练数据而说我愚蠢。他错了。LLM 复述现在是该领域最确凿的发现之一。以下是新 DeepMind 论文的摘录；每一篇论文都显示 Hinton 错了。（另外：还在等待 AI 取代放射科医生。）
查看原文

相似文章

@oneill_c: https://x.com/oneill_c/status/2077453217609453784

X AI KOLs Timeline

一位研究人员讨论了LLMs中的持续学习挑战，将其比作健忘的实习生，并探索了扩展上下文窗口、构建有状态记忆以及将上下文压缩为潜在表示等方法，引用了他们在Still上的工作。