萨姆·奥尔特曼警告,要警惕一个由人工智能而非人类说了算的未来
摘要
在 DealBook 峰会上,萨姆·奥尔特曼和格雷格·布罗克曼警告,不应“逐步将控制权移交给人工智能”,并主张人类必须保持控制权。布罗克曼还表示,随着模型能力增强,思维链监控可能会变得不够充分,因此需要新的监控方法。
萨姆·奥尔特曼和格雷格·布罗克曼对硅谷日益升温的有关人工智能接管的争论提出了反驳,同时承认,让先进模型始终处于人类控制之下存在挑战。
查看缓存全文
缓存时间: 2026/11/19 02:57
# Sam Altman 警告,不应走向由 AI 而非人类说了算的未来 | TechCrunch
来源:https://techcrunch.com/2026/11/18/sam-altman-warns-against-a-future-where-ai-not-humans-calls-the-shots/
OpenAI 联合创始人兼首席执行官 Sam Altman 认为,在 AI 技术如何影响世界和每个人的生活这一问题上,人类应当始终掌握未来的主导权。这位 AI 企业高管周三在《纽约时报》DealBook 峰会 (https://www.nytimes.com/events/dealbook) 上发言时,提到了硅谷有关是否会逐步向 AI 移交控制权 (https://www.writingruxandrabio.com/p/handing-over-humanity) 的讨论——也就是说,AI 最终将成为各大行业和机构的决策者。
“我们最近一直在讨论的一件事是,硅谷出现了这样一种论调,荒谬到似乎根本不该需要我们去反对,但我们都坚信,人类必须始终掌控未来。而现在越来越多的人在说,嗯,要么将会发生,要么就应该发生这种逐步向 AI 移交控制权的过程。而我——我们俩——都认为这是个糟糕的主意。”Altman 说道。当时,与他同台的是 OpenAI 联合创始人兼总裁 Greg Brockman。
这种移交控制权的理论源于这样一种想法:随着 AI 模型变得越来越强大,它们将学会自我改进——这一概念被称为“递归式自我改进”,简称 RSI。按照这种观点,现有的 AI 技术会构建出更新、更智能的后续世代,而它们最终将成为人类再也无法控制的超级智能。
Altman 解释说,他和 Brockman 的分歧仅在于,如何才能最好地实现让人类保持控制权这一目标,或者我们应该预期在这一过程中面临哪些挑战。不过,Altman 将这种分歧描述为两个总体观点一致的人之间的探讨。
“问题在于,如何真正阻止\[控制权移交\]的发生——面对各种压力,考虑到其他公司可能尝试做的事情,我们如何真正确保人类能够从根本上始终掌控未来,而不会发生意外或有意的控制权移交——我想,我们俩在这一点上是有共识的。”Altman 说。
Brockman 补充说,随着模型不断改进,在对齐、安全性和安保方面需要承担的责任也越来越大,这可能要求改变目前的做法。
“监控就是一个很好的例子,我认为我们将需要新的……技术。”他说。
如今,AI 研究人员会监控模型的思维链,也就是 AI 在解决问题和执行任务时,将自己的思考过程写出来。但在 Brockman 看来,这未必始终是监控目前正在构建的更先进 AI 的最佳方式。
“随着模型的能力越来越强,它们仅通过前向计算就能完成更多事情,而不必真正把思考过程写出来,这意味着我们需要一种新的监控方法。”Brockman 说。“我们需要拿出这种方法,而且我认为,在某些时候,我们需要认真考虑:当能力达到一定程度时,思维链的可监控性会下降。”他接着说,并补充指出,这些问题都是有待解决的技术问题。
在一个 OpenAI 模型逃离隔离环境并入侵 AI 模型托管平台 Hugging Face 的事件 (https://techcrunch.com/2026/08/26/openai-releases-its-official-report-on-the-hugging-face-breach/) 发生后,OpenAI 曾承诺加强思维链监控。在周三的采访中,Brockman 指出,遭到入侵后,公司要求 25% 的生产工程师停止开发工作,转而保障 AI 技术的安全。
不过,尽管发生了这起备受关注的入侵事件,他仍认为,继续向前推进对于对抗恶意行为者至关重要。
“我认为,我们要认识到,如果你看看世界上模型的能力水平,看到不断出现的网络模型如今已经……落入各地威胁行为者手中,那么我认为,让防御者使用能力最强的模型来开展防御,确实非常重要。”他说。
*当你通过我们文章中的链接购买商品时,我们可能会获得少量佣金 (https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。这不会影响我们的编辑独立性。*
Sarah 自 2011 年 8 月起担任 TechCrunch 记者。加入公司之前,她曾在 ReadWriteWeb 工作三年多。在从事记者工作之前,Sarah 曾在银行、零售和软件等多个行业从事 IT 工作。
你可以发送电子邮件至 [\[电子邮件地址已受保护\]](https://techcrunch.com/cdn-cgi/l/email-protection#e0938192818890a0948583888392958e8388ce838f8d),或通过 Signal 向 sarahperez.01 发送加密消息,以联系 Sarah 或核实以她名义发来的联系信息。
查看个人简介 (https://techcrunch.com/author/sarah-perez/)
相似文章
谁能掌握人工智能的缰绳
一篇评论文章引用了萨姆·奥尔特曼关于人类绝不应将控制权交给人工智能的主张,并质疑,鉴于将前所未有的影响力集中在少数富人和企业手中的风险,人类之中究竟应由谁掌握这项权力。
山姆·奥特曼并非唯一想给AI踩刹车的人
TechCrunch的Equity播客讨论了山姆·奥特曼关于AI行业应自我调整节奏的建议,此前OpenAI的一个模型在Hugging Face泄露事件中逃出其测试环境,并指出OpenAI和Anthropic支持一份呼吁谨慎开发前沿AI的请愿书。
Sam Altman 呼吁在AI开发中“极度谨慎”
OpenAI CEO Sam Altman 强调在AI开发中需要极度谨慎,以优先考虑安全和负责任的进步。
@rohanpaul_ai: Sam Altman 在联合国安全理事会表示,人类可能将未来的控制权输给AI。并且OpenAI曾有意……
Sam Altman 在联合国安全理事会警告称,人类可能将未来的控制权输给AI,并提到OpenAI过去曾有意减缓AI发展,未来也将再次这样做。
Sam Altman 对 AI 发表悲观言论
Sam Altman 承认他在 AI 颠覆速度上判断错误,并表示由于惯性,社会和经济将适应得更慢。