@dwarkesh_sp: 我们在整个互联网上预训练LLM。你可能认为这解释了它们如何学到这么多涌现能力：知识隐含在训练数据中。但事实上，模型能做到训练数据中从未演示过的事情！@svlevine 认为，涌现能力的真正来源是组合性：

X AI KOLs Timeline 2026/05/30 18:58 新闻

llm emergent-capabilities compositionality pretraining

摘要

Dwarkesh Patel 发推文提到 Sergey Levine 的观点：LLM 中的涌现能力源于组合性，而不仅仅是训练数据。

我们在整个互联网上预训练LLM。你可能认为这解释了它们如何学到这么多涌现能力：知识隐含在训练数据中。但事实上，模型能做到训练数据中从未演示过的事情！@svlevine 认为，涌现能力的真正来源是组合性：

查看原文

相似文章

X AI KOLs Timeline

Andrej Karpathy将LLM训练概括为文本、对话和环境；Prime Intellect的Verifiers是一个开源框架，用于构建和共享LLM的强化学习环境，采用MIT许可证发布，附带一个包含2500多个环境的中枢。

X AI KOLs Timeline

新论文发现，LLM中的涌现能力随机地从学习稀疏注意力模式中产生；瓶颈在于学习关注哪些token，这一过程缓慢且不可预测。

Hugging Face Daily Papers

PropMe是一个倾向性感知框架，用于评估LLM的记忆，区分强制复现能力和自然倾向，使用SimpleTrace在开放模型和数据集上进行确定性归因。

X AI KOLs Timeline

这条推文概述了2026年LLM训练的三步循环：用数据训练、运行评估、为表现不佳的任务添加合成数据。它强调了通过开源模型和廉价API进行合法蒸馏的易得性，并指出仅凭推理轨迹训练就能获得高分。

X AI KOLs Timeline

一位研究人员讨论了LLMs中的持续学习挑战，将其比作健忘的实习生，并探索了扩展上下文窗口、构建有状态记忆以及将上下文压缩为潜在表示等方法，引用了他们在Still上的工作。