@SabrinaHalper: .@dwarkesh_sp 与 @ericjang11 的节目非常精彩。Eric 有一种罕见的才能,能把复杂的概念讲得简单易懂,…

X AI KOLs Timeline 新闻

摘要

Sabrina Halper 推荐 Dwarkesh Patel 与 Eric Jang 的播客,其中讨论了深度学习进展更多是受计算驱动,而非生物启发。

.@dwarkesh_sp 与 @ericjang11 的节目非常精彩。Eric 有一种罕见的才能,能把复杂的概念讲得简单易懂——这也是我第一次在晚餐时遇见他就立刻抛出一堆问题的原因。 如果你想听更多他的见解,可以听听我们两年前的对话! “神经网络的历史,以及人工智能中的许多东西,很大程度上都受到了生物学的启发,比如遗传算法、进化算法、神经科学、心理学和生物学中的过程等等。我认为从自然中汲取灵感是一个很好的方式……但我知道这话会招来科学界的不少批评,不过我感觉在最近十五年左右的深度学习进展中,绝大多数重大贡献并非来自那些坚持那种思维方式的人,而是更多在想:我怎样才能尽快把尽可能多的数据塞进我的 GPU? 凭经验来看,似乎那些过于执着于复制某种受自然启发的架构,而牺牲了利用暴力计算能力的人……并没有做出最好的算法。有一篇 @sarahookr 的文章叫《硬件的彩票》(the hardware lottery),其中指出,那些专注于最大化算法以适应硬件,从而让暴力计算尽可能快运行的人,往往最终胜出。”
查看原文
查看缓存全文

缓存时间: 2026/05/20 04:25

.@dwarkesh_sp 与 @ericjang11 的对谈节目非常精彩。Eric 有一种罕见的才能,能把复杂的概念讲得简单易懂——这正是我第一次在晚宴上见到他时立刻追着问问题的原因。

如果你想了解更多他的见解,可以听听我们几年前的那场对话!

「神经网络的历史,以及 AI 领域许多事物的灵感,很大程度上都来自生物学,比如遗传算法、进化算法,以及神经科学、心理学、生物学中的各种过程等等。我认为从自然界汲取灵感是很好的方式……但接下来这番话可能会招来科学界的批评——我觉得在过去大约十五年的深度学习进展中,绝大多数重大贡献来自那些并不怎么遵循这种思维方式的人。他们更多在想:『我怎样才能尽可能快地把更多数据塞进 GPU?』
根据经验来看,那些过于执着于复制某种自然启发式架构、而牺牲了暴力计算能力的人……往往做不出最好的算法。有一篇 @sarahookr 写的文章叫《硬件彩票》,其中指出,那些专注于最大化算法、让它适配硬件以便尽可能快地运行暴力计算的人,通常赢了。」

Dwarkesh Patel (@dwarkesh_sp):
最新黑板讲座,与 @ericjang11 合作
他一步步讲解了如何从零构建 AlphaGo,但用的是现代 AI 工具。
有时候,向后看反而能让你更好地理解未来。AlphaGo 仍然是展示智能两大原语——搜索与学习——最清晰的工作案例。

相似文章