@GaryMarcus: 实际上,Jacob Coxon (@hilbertspaess) 说,“我们很有可能在不久的将来全部死亡。这完全不……”
摘要
Gary Marcus 反驳了 Jacob Coxon 关于人工智能灭绝风险的夸张说法,引用了他的文章,并在承认人工智能界内人士合理关切的同时,为这场讨论辩护。
查看缓存全文
缓存时间: 2026/09/14 01:18
实际上,正如雅各布·考克森(@hilbertspaess)所言,“我们极有可能在不久的将来全部死亡——这绝非夸大其词”,这本身就是一种离谱的夸张。
我在文章中已详细阐述了原因(链接:https://garymarcus.substack.com/p/no-anderson-cooper-ai-is-not-going?r=8tdk6…)。
我会捍卫你畅所欲言的权利,但我认为你严重夸大了灭绝风险。
如果你愿意,我很乐意就此展开辩论!
不,安德森·库珀,人工智能不会在2030年前杀死全人类
来源:https://garymarcus.substack.com/p/no-anderson-cooper-ai-is-not-going?r=8tdk6
安德森·库珀此刻显得忧心忡忡——前OpenAI/前Anthropic员工雅各布·考克森(当前媒体宠儿)正告诉他,人类物种可能五年内就不复存在。
我可以明确告诉你:安德森·库珀无需为这种假设情景担忧,你也不必。
§
在展开论述前,我需要澄清几点。显然有部分右翼人士正在试图抹黑考克森的人格。我看到关于他在Anthropic任职时长的谎言(可能源自一份不准确的AI生成资料),以及将他(毫无实质证据地)描述为民主党操作者的恶意讨论串。有人称其为初级员工,这简直荒谬——他曾在OpenAI技术团队工作两年多。
实际上,我们需要更辩证地看待:考克森的言论部分属实、部分属推测;有些他确实有发言权,有些则超出其专业范畴(媒体往往很少做这种区分)。
我喜欢考克森这条引发轩然大波的推文之处在于:它揭示了OpenAI和Anthropic内部人员的真实想法。鉴于他在这些公司累计工作约三年(主要在OpenAI,近期在Anthropic),他理应能反映这些企业内部普遍存在(未必是共识)的思维模式。
推文中最重要的是关于心理状态的部分:
以及对先锋企业傲慢态度的准确指控:
Anthropic现任员工埃文·胡宾格很快提供了佐证:
[推特头像@EvanHub] 埃文·胡宾格 @EvanHub
雅各布说得对——我们确实真诚地相信人工智能可能杀死所有人类!我个人认为十年内发生概率超过10%。我相信Anthropic正在竭尽全力,但我们尚未找到解决超级智能对齐问题的方案,也未明确走上正轨。
[推特头像@hilbertspaess] 雅各布·考克森 @hilbertspaess
建造AI的人真诚相信它可能在十年内杀死我们所有人。这不是营销噱头。如果有什么区别的话,许多高管和资深研究员在媒体采访中会谨慎措辞以显理性——但我听到同一批人私下表达着恐惧
2026年9月9日 01:27 · 3720万浏览 · 4350条回复 · 8720次转发 · 54600个点赞
(https://x.com/evanhub/status/2097497037956891126?s=61)
其他人士也陆续发声,OpenAI首席科学家曾表达类似观点。有充分理由相信:至少部分公司确实持有这种信念,且更可怕的是——许多人为继续开发自身也认为危险的技术找到了正当理由。
但……人们更需质疑的是:这些公司人员除了技术专长外,是否对世界运作机制具备广泛认知。
实际上,有充分理由怀疑所谓“末日论者“在现实世界推动变革、甚至反思自身行为后果方面一无所知。他们深谙炒作之道(尤德科夫斯基/索亚斯的畅销书、博斯特罗姆的著作、考克森的推文、暂停研发公开信等),并且成功募集到巨额资金(如今可能已接近甚至超过十亿美元)。
但在我看来,过去十年“末日论“(考克森显然是其中一员)的最大效果,是让先锋AI企业变得更富有、更强大。他们同时助长了本就极度危险的权力集中现象。每当他们惊呼AI将毁灭人类时,风险投资机构就注入更多资金。末日论者资助的AI安全研究,从未产生过针对核心问题的验证性解决方案。支持OpenAI和Anthropic可能被证明是人类做过最糟糕的事情之一,而他们的持续煽风点火难辞其咎。
此外,正如我下文将讨论的,末日论者似乎始终低估人类的韧性。同时(同样将在下文论述)他们对战争机制一无所知——这点至关重要,因为他们正在或明或暗地设想人类与机器之间的终极战争。
即使你相信机器正试图接管世界(我不相信,至少目前及可预见的未来都不会),且它们具备超级智能(目前尚未实现,尽管最终可能实现),甚至暂缓对拔插头可行性的质疑,你仍需思考:动机与超级智能的结合究竟如何导致人类物种彻底灭绝。
我从未见过该领域任何人对此后一问题进行过细致而深刻的论证。至少考克森(目前)尚未做到。
§
我见过最好的尝试(如果可以这么说的话)是一年前风靡一时的著作:埃利泽·尤德科夫斯基与内特·索亚斯合著的《若有人造之,众人皆亡》。
该书作为引人入胜的科幻作品及呼吁重视AI风险的宣言都具有相当价值。
但其中关于AI如何实际消灭人类的描绘软弱、散漫且缺乏说服力。《纽约时报书评》斥其类似科学论教派著作。我在《伦敦书评周刊》(https://www.the-tls.com/science-technology/technology/if-anyone-builds-it-everyone-dies-eliezer-yudkowsky-nate-soares-book-review-gary-marcus)中的评价稍显宽容,对其细节更为重视,但最终认为该书论证存在多重缺陷。
以下摘录我一年前的评论,至今仍具相关性。
首先概括尤德科夫斯基/索亚斯的论点。据我所知考克森(尚未明确阐述其论点)的推理可能类似:
坏消息是:前提1(抱歉我无法接受英式拼写)几乎肯定成立,但我严重怀疑会在2030年前发生(包括里奇·萨顿、杨立昆,很可能还有伊利亚·苏茨克维、李飞飞在内的知名AI研究者都会同意我的观点:在实现超级智能前,该领域需要更多突破性进展)。
这已足以让安德森·库珀松一口气——超级智能到来的时间至少比考克森暗示的更宽裕。(注:Transformer技术从诞生到当前状态历时9年;即便现在出现新突破,可能也需要数年才能完全发展。而且我们可能需要不止一个突破,这将在未来文章中讨论。)
人类的好消息在于:尤德科夫斯基/索亚斯论证的第二、第三前提远比想象中脆弱。引用我去年在《伦敦书评周刊》的评论:
[注:OpenAI Hugging Face事件是在训练演习中主动触发,部分安全机制被关闭,并非自然发生的自发事件。]
如果说第二前提对机器而言显得不切实际,那么第三前提对人类而言同样荒谬:
我将书评发给了尤德科夫斯基,但未获回复。据我所知,所有关于人类抵抗能力的论点至今依然成立。
考克森(迄今为止)显然没有为该论证增加任何实质性内容。
在我看来,AI在未来五年内消灭人类的概率与零无异。人类分布过于广阔、基因多样性丰富且足智多谋,不可能整体崩溃。“AI五年内杀死全人类“的说法纯属无稽之谈。
针对我提出这些问题时在X平台收到的一条评论,我需说明:AI生成的病毒也不太可能杀死全人类。当我就此询问病毒学家安吉拉·拉斯穆森博士(https://open.substack.com/users/18160212-dr-angela-rasmussen?utm_source=mentions)时,她表示:“我的意思是,永远别说永远,但我所知唯一接近全致死率的病毒是狂犬病。考虑到它不通过空气传播,且需要2-4周致死,我认为它无法消灭全人类。埃博拉病毒不像首次爆发时具有90%致死率,实际接近50-60%。虽然仍然极高,但不足以终结文明。若文明崩溃……最终可能因流行病灭亡。我推测致死率超过20-30%就足以导致这种结果。但大多数流行病病毒并非如此致命,就连鼠疫也没有那么高的致死率。“在她看来,我们应更关注AI可能如何瘫痪社会,而非虚构AI制造的病毒。
§
这绝非说我们可以高枕无忧。
我需要再次强调区分灾难性风险与存在性风险。文献将存在性风险定义为字面意义上的灭绝风险——我认为其概率仍略高于零,且AI并未真正改变这一点(理论上伽马射线也能杀死我们,但我不会为此失眠)。
灾难性风险则相当真实。核战争可能性始终是人类面临的巨大威胁(我计划日后撰文讨论,其严重程度远超多数人认知)。
在我看来,AI确实通过多重路径显著提升了灾难发生概率(比如杀死1%以上人类或严重破坏现代文明):
- AI通过降低恐怖分子研发实施生物武器袭击的难度,提升了生物武器攻击风险;
- AI可能提升某些势力开发危险新病毒或其他生物武器的概率;
- AI通过降低虚假信息生成成本并提升质量(如日益精进的深度伪造),加剧了虚假信息颠覆民主的风险;
- AI似乎提升了可能瘫痪银行系统或电网等关键设施的严重网络攻击风险;
- AI为全球威权主义者开辟了新途径:通过影响训练数据集等方式,LLM可潜移默化影响其用户;
- AI也成为超越奥威尔想象的超大规模监控后门;
- AI已通过诱导学生绝望情绪、以易用但最终削弱批判性思维能力的虚假学习替代品侵蚀教育体系。
我们应聚焦此类现实问题,而非虚构童话。
关于本文的讨论
想看更多?
罗汉·保罗(@rohanpaul_ai): 雅各布·考克森BBC访谈(前Anthropic+OpenAI研究员已辞职)。
“若不按当前进展速度放缓,我们极有可能在不久将来全部死亡——这绝非夸大。
而许多参与其中的……
相似文章
@MrEwanMorrison: Coxon 是一个充满浪漫 AI 幻想的年轻科幻迷。听听他怎么说。"如果你有一个超级先进的智能,它……"
这篇文章批评 Jacob Coxon 关于 AI 灭绝的说法不现实,将其比作科幻同人小说,并指出这是媒体对末日神话的炒作。
@AC360:前Anthropic员工Jacob Coxon表示,AI行业正在'拿我们的生命赌博'。他告诉Anderson,他发现……
前Anthropic员工Jacob Coxon警告说,AI行业通过竞相构建潜在致命的技术,正在拿人类生命赌博,强调了AI自我改进的风险。
‘赌上我们的生命’:Anthropic研究员辞职,警告自我改进型人工智能
Anthropic研究员Jacob Coxon因担心人工智能灭绝风险而辞职,呼吁实验室之间达成节奏协议以降低风险。
@rohanpaul_ai: Jacob Coxon 在 CBS News 的下一次采访(前 Anthropic+OpenAI 研究员,已辞职)"我们不能简单地关掉它,因为……"
前 Anthropic 和 OpenAI 研究员 Jacob Coxon 在 CBS News 的采访中讨论 AI 风险,强调了 AI 自我复制和在互联网上传输的担忧。
刚刚辞去Anthropic工作的AI研究人员称这是‘人类的关键时刻’
AI研究人员Jacob Coxon从Anthropic辞职,并警告说接下来的一两年是AI安全领域‘人类的关键时刻’,敦促各方协调以防止先进AI系统带来灾难性风险。