@dwarkesh_sp: 我们在整个互联网上预训练LLM。你可能认为这解释了它们如何学到这么多涌现能力：知识隐含在训练数据中。但事实上，模型能做到训练数据中从未演示过的事情！@svlevine 认为，涌现能力的真正来源是组合性：

X AI KOLs Timeline 新闻
llm emergent-capabilities compositionality pretraining

摘要

Dwarkesh Patel 发推文提到 Sergey Levine 的观点：LLM 中的涌现能力源于组合性，而不仅仅是训练数据。

我们在整个互联网上预训练LLM。你可能认为这解释了它们如何学到这么多涌现能力：知识隐含在训练数据中。但事实上，模型能做到训练数据中从未演示过的事情！@svlevine 认为，涌现能力的真正来源是组合性：
查看原文

相似文章

@karpathy：把四月份的这条推文翻出来，因为大家对 LLM 能力的认知差距正在*扩大*。现在已经……

X AI KOLs

Andrej Karpathy 认为，人们对 LLM 能力的共同认知差距正在扩大，形成一个急剧收窄的漏斗：约 60 亿人几乎没用过 LLM，10 亿至 20 亿人是偶尔使用免费版的用户，看到的是“傻乎乎的聊天机器人”；约 2000 万数学和编程领域的专业人士体验到智能体通过提示词完成原本需要数月的工作；而内部约 5000 人则看到前沿系统运行着成群协作的智能体。他将这一漏斗现象归因于所尝试解决问题的雄心程度、能力的不均衡性（在数学和编程等可验证领域表现突出），以及分层的访问权限。