@jakevin7: 现在所有人都在聊 AI,但很少有人知道,这个领域的奠基人曾经被整个世界当成疯子扔掉。 Geoffrey Hinton 在 2024 年拿了诺贝尔物理学奖。 有记者问他:你等了多少年? 他说:大概四十年。 1969 年,神经网络被一本书干死…
摘要
本文回顾了 Geoffrey Hinton 在神经网络被学术界抛弃的 AI 寒冬中坚持研究长达三十年,最终凭借 AlexNet 在 2012 年 ImageNet 大赛中一举成名,并在 2024 年获得诺贝尔物理学奖的历程。
查看缓存全文
缓存时间: 2026/06/08 07:17
现在所有人都在聊 AI,但很少有人知道,这个领域的奠基人曾经被整个世界当成疯子扔掉。
Geoffrey Hinton 在 2024 年拿了诺贝尔物理学奖。
有记者问他:你等了多少年?
他说:大概四十年。
1969 年,神经网络被一本书干死了。
发明感知机的罗森布拉特,1971 年在一场帆船事故里淹死了,终年 43 岁。他没有等到被证明是对的那一天。
Hinton 比他幸运——只是用在一个在 AI 地狱里待了三十年的人身上,“幸运“这个词有点残忍。
1990 年代,AI 冬天第二季。学术圈有个不成文的规矩:投神经网络的论文,标题里最好别出现“neural“这个词,否则审稿人直接拒掉,连正文都懒得看。
Hinton 坚持做神经网络,等于公开宣布:我在支持一个大家都认为已死的技术。
他在美国越来越混不下去,军方经费占满了整个 CS 预算,他不愿意签。1987 年把全家搬去了加拿大多伦多,继续做那些所有人都说“没用“的研究。
一篇一篇被拒,一个一个申请没有结果。这一坚持,就是二十多年。
2012 年,他 64 岁,带着两个学生把 AlexNet 扔进了 ImageNet 大赛。
错误率比第二名低了 10.8 个百分点。
整个 AI 届当场沉默了三秒。然后所有人开始疯狂找 GPU。
2018 年,图灵奖。2024 年,诺贝尔物理学奖。
有人问他,当年把你批得一文不值的那些人,你想对他们说什么?
他笑了一下:我不记仇。我只是知道我是对的。
相似文章
@0xCheshire: “如果你今晚睡得安稳,说明你根本没听懂。” 这是亲手构建了当今所有 AI 底层神经网络的教父 Geoffrey Hinton ,从 Google 辞职后向世界发出的警告。 这场 47 分钟的演讲,揭开了一个没人愿意面对的现实: AI 正在…
Geoffrey Hinton 从 Google 辞职后发表演讲,警告 AI 正在进化出创造者都无法预料的能力,人类在大部分认知领域已被甩在后面,机器超越人类只是时间问题。
@AYi_AInotes: 这可能是今年AI圈最清醒的一条推文, Yann LeCun 是当今 AI 领域最有影响力的科学家之一,深度学习三大教父之一,2018 年图灵奖获得者, 他直接怼了Anthropic CEO Dario的著名言论, Dario说未来一到五年…
Turing Award winner Yann LeCun publicly challenged Anthropic CEO Dario Amodei’s prediction that AI will eliminate half of tech, legal, consulting and finance jobs within 1–5 years.
Birth of AI/Steve
史蒂文·马斯卡尔博士分享了他从1988年神经网络研究到构建AI史蒂夫系统、以及开发纪念亲友和朋友应用、食物健康应用的个人故事,强调了多巴胺驱动的好奇心和超级个体时代的来临。
@Phoenixyin13: 现在的人工智能领域陷入了一个非此即彼的怪圈。 一边是统治世界的 Transformer 架构,它记性极好,但由于计算量呈平方级爆炸,长文本读得越多就越贵,活脱脱一个吞金兽。 另一边是老牌的 RNN 架构,计算速度极快,成本很低,但它是个彻…
本文介绍了Google Research联合康奈尔和南加大提出的一种新方法,通过为RNN的记忆拍快照并缓存,使RNN能高效处理长文本,兼具Transformer的强记忆和RNN的低成本,为长上下文AI提供新方向。
我实现了诺贝尔奖得主 Jeff Hinton 提出的生物上可能的网络训练算法
作者描述了实现由 Geoffrey Hinton 提出的生物上合理的神经网络训练算法。