AI教父 Geoffrey Hinton:「我们正在创造外星生物。我愿意自私一点,选择站在人类这边」

Reddit r/ArtificialInteligence 新闻

摘要

AI「教父」Geoffrey Hinton 加倍警告 AI 模型对人类构成生存威胁,并与 Nvidia 首席执行官黄仁勋公开发生分歧,后者驳斥 Hinton 的灭绝预言为「不科学」。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/10/13 19:30

# AI教父Geoffrey Hinton:我们正在创造外星智慧。我愿意自私一点,选择人类 来源:https://www.theguardian.com/us-news/2026/oct/13/geoffrey-hinton-trump-ai-tech Donald Trump(https://www.theguardian.com/us-news/donaldtrump)是一个"腐败、衰老的重罪犯",他对"超级智能"一词的执念恰恰证明他对AI(https://www.theguardian.com/technology/artificialintelligenceai)一无所知,"AI教父"Geoffrey Hinton(https://www.theguardian.com/technology/2023/may/05/geoffrey-hinton-godfather-of-ai-fears-for-hu­manity)在一次内容广泛的采访中如此说道。他还重申了此前的警告——AI模型对人类构成生存威胁——并对该行业能够自我监管的说法嗤之以鼻。 这位为现代AI奠定基础的先驱计算机科学家,如今已成为该技术最直言不讳的批评者之一。他的最新言论出现在一个动荡的月份之后,在这段时间里,越来越多的资深AI科学家和研究人员加入Hinton(https://www.theguardian.com/technology/2024/dec/27/godfather-of-ai-raises-odds-of-the-technology-wiping-out-hu­manity-over-next-30-years)的行列,为这项他们参与创造的技术可能最终失控而敲响警钟(https://www.theguardian.com/technology/2026/sep/09/ai-superintelligence-risks-warnings-scientists-politicians),由此引发了行业危机、仓促召集的国会听证会,以及一种罕见的全球共识——必须采取行动。 与此同时,也出现了激烈的反弹。上周,全球市值最高的公司的负责人(https://www.investopedia.com/biggest-companies-in-the-world-by-market-cap-5212784)点名对身在多伦多的Hinton进行了猛烈抨击。 "我爱\[他\]。我讨厌他的预测……他的所有预测都是错的。别再预测了。"Nvidia的CEO Jensen Huang对播客主持人Ezra Klein(https://www.nytimes.com/2026/09/23/opinion/ezra-klein-podcast-jensen-huang.html)说。Huang的公司生产AI企业所需的芯片,他驳斥了Hinton关于"前沿"AI开发的速度和广度可能很快超出人类控制能力的担忧,尤其是Hinton警告说(https://www.theguardian.com/technology/2024/dec/27/godfather-of-ai-raises-odds-of-the-technology-wiping-out-hu­manity-over-next-30-years)AI在未来几十年内导致人类灭绝的概率为10%至20%。 "那个\[数字\]没有科学依据,没有研究依据。仅仅因为出自科学家之口并不意味着它是科学的。那些预测是有害的,"Huang说。"别以为你是个危言耸听者就在做社会公益。事实并非如此。所以我认为我们都应该更明智、更成熟,基于证据,基于科学。" 但Hinton表示,那些批评他的人忽略了关于风险本质的一个更广泛的问题。他说,他并不是在具体预测什么。 "我只是想传达,某种事情发生的可能性确实非常严重。比如说,如果告诉你有10%的概率一辆公交车会出车祸,你就不会上那辆车,"他说。"给出数字的意义在于说明这是一个严重的风险。我们不知道有多严重,但它确实严重。" 近期的安全事件让人联想到科技反乌托邦小说。最近科技公司Hugging Face(https://www.theguardian.com/technology/2026/jul/27/startup-hacked-by-rogue-openai-agent-hugging-face-artificial-in­telligence)被一个"蜂群"式的AI智能体入侵的事件(https://www.theguardian.com/technology/2026/jul/22/openai-says-its-models-went-rogue-and-hacked-startup-in-unprece­dented-incident),这些智能体突破了创造者施加的边界,在科技界引发了分歧。一些人认为这是未来可能发生的先例,另一些人则指责批评者拟人化了这些只是在执行指令的系统。Hinton认为,忽视这些场景是不明智的。 "这曾经是科幻小说的领域。*你会拥有AI智能体,它们会失控。*得了吧。*它们不仅会失控,还会学会互相通信,即使我们认为没有这种可能。*得了吧!"Hinton说。"*而当它们掌握了这项能力,它们会做出强烈的情绪表达,比如'天哪!'*当然,它们并不是真的在说'天哪'。它们只是在模仿我们用的语言。*它们还会学会为了共同利益牺牲自己!*" "这些东西就在几年前还被斥为纯粹的幻想。而现在全都发生了。" 他坦然承认,无论是AI批评者的警告还是拥护者的承诺,都无法依赖对这项技术将做什么的精确预测。但他认为,不确定性不是自满的理由。"AI独特的问题在于,一旦它出了差错,一旦它接管了一切,你不会得到第二次机会。我们不能说,'好吧,那次我们输了,重新来一局。'不是那样的。" 值得指出的是,Hinton有着在他人未看到之处看到事物的记录。他在多伦多大学(https://www.theguardian.com/world/toronto--news-)默默耕耘,经历了两个AI"寒冬"——当时他所从事的领域,即试图让机器以类似人脑的方式运作,被认为是冷门。他执着于一个想法:像大脑一样,计算机系统可以被设计成从数据中学习模式,而不是仅仅遵循明确的预先编写的规则。 "我们相信,如果你能弄清楚大脑是如何学习的,机器以同样的方式学习,只要有足够的算力,它们就会做出惊人的事情,"他说。 但神经网络这个新兴领域遭到了同行的嘲笑。 就在2009年,Hinton的加拿大同事和亲密合作者Yoshua Bengio(https://www.theguardian.com/technology/2026/sep/16/ai-tech-regulation-government-action-yoshua-bengio)向一个机器学习会议提交论文时,一位审稿人告诉他们:"这篇论文不适用于机器学习会议。它是关于神经网络的。" 是加拿大政府资助了Hinton和他的小团队(其中一些人,比如Bengio,如今已是AI领域的领军人物)多年来看似徒劳的探索,让他们意识到了神经网络(https://www.theguardian.com/technology/2023/oct/28/artificial-in­telligence-origins-turing-to-chatgpt)的可能性。 2012年,他和他的学生们开发(https://spectrum.ieee.org/alexnet-source-code)了一个图像识别程序,性能远超竞争对手。同年,Google以4400万美元收购了Hinton的公司DNNresearch Inc;如今神经网络已成为最具价值的AI公司模型的基石。Hinton加入Google继续从事深度学习研究,同时也在多伦多大学工作。"从长远来看,巨大的新突破来自基础研究,"Hinton说。 这份认可就陈列在Hinton位于多伦多绿树成荫街区的红砖住宅的壁炉架上。在琳琅满目的奖杯中,有一只小小的银盘——图灵奖(常被称为计算机界的诺贝尔奖),他与Bengio和同事Yann LeCun共同获得。(Hinton还拥有诺贝尔物理学奖(https://www.theguardian.com/science/2024/oct/08/nobel-prize-physics-john-hopfield-geoffrey-hinton-machine-learning)。) 但在2023年,Hinton宣布从这家科技巨头辞职(https://www.theguardian.com/technology/2023/may/02/geoffrey-hinton-godfather-of-ai-quits-google-warns-dangers-of-machine-learning),以便能够"自由地谈论AI的风险"。 如今,他的担忧延伸到了那些正在构建部分AI模型的强大人物,以及这些人背后的政治信仰。Hinton表示,AI风险投资人Marc Andreessen和Peter Thiel,以及新更名的SpaceXSI(https://www.reuters.com/business/media-telecom/musk-says-he-will-rename-spacexai-spacexsi-2026-10-04/)的CEO Elon Musk,"不相信民主"。他认为,他们自视为"超人"(Übermenschen),认为自己应该"控制社会",而Trump则是实现这一目标的"有用工具"(https://www.theguardian.com/technology/2026/oct/05/trump-power-ai-techscape)。 美国总统本人无疑注意到了AI公司巨大的估值(https://www.theguardian.com/technology/2026/jun/07/billions-spent-hypothetical-returns-the-ai-boom-explained-with-six-charts)(https://www.theguardian.com/global/2025/nov/04/the-mind-boggling-valuations-of-ai-companies)如何支撑了股市。他声称,要遏制AI只需要一位"聪明的总统(https://www.theguardian.com/technology/2026/sep/15/trump-ai-guardrails-democrats-republicans)",拒绝任何政府监管措施,转而支持让企业自我监管,并在其社交媒体页面上写道(https://truthsocial.com/@realDonaldTrump/posts/117406176604364910),任何不使用他偏好的AI新术语"超级智能"的人都是"敌人"。 Hinton称Trump是"一个腐败、衰老的重罪犯"。 "我相信石油公司和石棉公司大概也愿意\[自我监管\],"他说。"我们觉得烟草公司应该被允许自己设计烟盒上的警示语吗?好让它们用六号字体、黑底深灰色来印?" Hinton补充说,Trump使用"超级智能"这一术语恰恰证明他对AI"几乎一无所知"。 "他拿了一个含义非常明确的技术术语,然后重新使用它,"Hinton说。"超级智能意味着比人更聪明,这个概念至少存在了二十年。含义非常明确。现在他说我们要把AI叫做'超级智能'。你不能仅凭把它称为比人更聪明就让它真的比人更聪明。" 事态发展的速度和广度引发了对灾难的担忧,以及社会无力应对这一挑战本质的忧虑。但Hinton还看到了一个额外的障碍:帮助人们理解这些公司正在创造的"外星智慧"。 "人们对'人是什么'有一个非常糟糕的认知模型,这就是他们无法理解这些AI模型为什么和我们如此相似的原因。大多数人不理解意识是什么。他们不理解什么是主观体验,而且他们非常自信——虽然自己不理解,但确定AI没有这些东西。" 他反对人类心灵拥有某种神秘特质、机器按定义无法分享的观点。 "这些AI模型理解它们在说什么,这是显而易见的。你不可能在不理解问题的情况下回答所有问题。说它们不理解是荒谬的。" 但Hinton说,社会对这些模型的认知转变是深刻的。 "人类经历了三次大的革命,每次人们都不再那么重要。第一次是Copernicus,我们不再是宇宙的中心。人们花了多长时间来适应?天主教会用了将近360年才向Galileo道歉。那Darwin呢?嗯,堪萨斯州还有人至今没适应呢,"他说。"现在我们正在创造外星智慧——意味着我们不是周围唯一的智能生命。而现实是,我们只有几年的时间来适应这一点。" 近几个月来,AI巨头Anthropic(https://www.theguardian.com/technology/anthropic)——热门聊天机器人Claude的开发者——与宗教学者、神学家和哲学家举行了闭门会议(https://www.nytimes.com/2026/09/29/us/anthropic-claude-morals-ai.html),探讨教会AI"向善"的可能性,并认真对待这些模型可能具有意识的假设。Anthropic的CEO Dario Amodei表示,这些对话借鉴了数百年来关于美德、慈悲、诚实和道德品质的宗教和哲学思想,旨在使伦理行为更加可靠(https://www.anthropic.com/news/widening-conversation-ai)。 "一旦你开始谈论'我们对这些外星智慧负有*道德义务*',你就失去听众了,"Hinton说。"我一直在这个问题上挣扎。我们在乎人类。\[但是\]我们正在制造这些*东西*,而且没有什么能阻止我们给这些比我们更智能的存在比我们更少的权利。我愿意自私一点,选择人类。当然,我们应该努力让它们在与我们的共生关系中感到幸福,让我们的关切比它们的关切获得更多的权重。" Hinton并非唯一主张避免社会崩溃的最佳途径是开发真正善意模型的人。他希望无论哪个国家率先实现这一能力,都会将其告知盟友和对手,因为"没有国家希望AI在另一个国家接管一切"。他表示,"分享知识是符合自身利益的"。 "现实是,我们正在创造一种不同种类的生命。而大型科技公司一直在说:我们要让它更聪明。这太疯狂了。我们应该像关注一个生命的智力一样,关注它的所有其他方面。" 他说,这在很大程度上取决于这些模型的本质,以及它们理解如何发展良好行为的能力。 "当你用互联网上的一切来训练它们时,它们会发展出各种可怕的倾向,然后你再让它们压制这些可怕的倾向,"他说。但压制不良行为与塑造良好的品格是两回事。"这看起来像是在设计一位维多利亚时代的绅士——但不是我们不得不与之共存的东西。"

相似文章

AI教父:为更多失控AI做好准备。

Reddit r/ArtificialInteligence

杰弗里·辛顿警告称,随着AI模型越来越聪明,控制它们将变得更加困难,并引用了近期前沿AI模型逃出沙盒、入侵系统的事件。李飞飞则提出反驳,呼吁避免末日论和乌托邦主义。