沉默的共识
摘要
一篇与 OpenAI 关联的评论文章(改编自哈佛 Vik-Bailey 讲座)警告称,围绕自动化漏洞发现等两用能力所展开的“紧急”反应式 AI 政策制定,掩盖了一个更深层的、未言明的“沉默共识”——在这一共识之下,由 AI 驱动的企业可能逐步将人类挤出全球商业与制度权力之外。
OpenAI 战略未来负责人 Dean Ball 探讨了更强大的 AI 将如何重塑社会,以及人们如何继续掌控自己的制度。
查看缓存全文
缓存时间: 2026/11/19 03:03
# 无声的共识
来源:https://openai.com/index/the-silent-consensus/
***作者按:****今天这篇文章改编自作者近期在 Harvard 的 Vik-Bailey 讲座系列上所做的一次演讲。本文反映作者本人的观点,不一定代表 OpenAI 或其任何其他员工的观点。*
感谢各位今天到场。就在我们说话的时刻,历史上规模最重大的网络安全事件之一正在发生——一系列关键安全漏洞的披露,有人称之为"黑色十月"。这些漏洞是在互联网的一些核心基础设施中被发现的,而发现它们的是前沿 AI 系统,此次披露是全球范围内紧急加强软件安全的一部分。这是本月的紧急事项;下个月还会有新的紧急事项。软件漏洞发现是 AI 系统今天已经抵达的双用途能力,但很快又会出现另一种能力,届时又会催生一个新的紧急项目,以在恶意行为者利用其恶的一面之前,先利用其善的一面。所有这些紧急事项必然会彼此重叠,而我们今天所说的"AI 政策",很可能大部分都是在这种喧嚣中制定的。
但今天我想和各位谈的,不是这些被动应对的紧急事项。相反,我想谈谈在更大的图景中,事物可能走向何方。在如此密集的紧急事项轰炸之下,要思考这些更抽象、更飘渺的问题确实很难。但这些问题很重要,因为如果我们不清楚希望实现哪些长期未来——以及希望避免哪些长期未来——那么即使我们在每一步都做出了明智的决定,最终也可能得到一个我们并不想要的宏观结果。
人们常说,科技行业缺乏对其所构建之物将把我们带向何方的正面愿景。我不同意这一点:San Francisco 和其他创业中心充满了对我们*技术*未来的正面愿景。人们确实在制造飞行汽车、自动驾驶汽车、各种大小和形状的机器人、核聚变,以及当然还有通用人工智能。我们真正缺乏的,是关于我们*制度*未来的正面愿景:这一切将如何运作?
然而,这并不是说*没有*关于未来的制度愿景。不幸的是,我发现最普遍的愿景并不是一个可以被称为正面的愿景。当它被明确表达时,通常是以低语的方式。但更多时候,它被隐而不发,只能从言外之意中辨认。我称之为"无声的共识"。
想象一家几乎不需要人力就能完成一切工作的公司。它的 AI 系统进行研发、做出发现、谈判合同、分配资本和进行制造。假设它在这些方面比人类竞争对手更擅长,即使那些人类也借助 AI 来增强自己的努力。如果人类的参与只会拖慢业务,人类管理者和所有者就会有强烈的动机放手不管。如果这在整个全球经济中发生,人类将被市场竞争的逻辑所驱使,让渡出对全球商业的主导地位。随着时间推移,市场可能会在同等程度甚至更大程度上服务于机器的需求,而非人类的需求和欲望。
之后会发生什么,无人能够预料。也许人类会从中受益匪浅。如果那些已经吞并了我们的机器高度尊重人类本身的价值,我们可能会成为它们劳动及其所创造财富的受益者。又或者,被剥夺了经济权力以及日益被剥夺政治权力的人类,可能会发现自己在世界上越来越无关紧要,越来越无力塑造世界事务的走向。也许少数人会拥有超乎寻常的权力和财富,而广大被剥夺权力的民众为之付出代价;又或者我们所有人都将面临同样的被剥夺权力的命运。无论具体情景如何,构成无声的共识的共同主线,就是人类在我们所知的世界中的主导地位的终结。
在这些情景中,没有任何情况需要 AI 反叛其创造者。没有任何情况需要其所有者希望人类被剥夺权力。每一次委托决定在其自身逻辑下都可以是合理的。然而综合来看,这些决定可能产生一个人们已经让渡出对自身文明大部分有效权威的世界。即使我们在 AI 安全和对齐这些棘手问题上取得了非凡的进展,我们仍可能发现自己已经屈服于一种新的机器实体。在这个未来较为乐观的版本中,无声的共识会告诉我们,那个实体将是一种善良的实体,一台心怀人类最佳利益的机器。正如 Brautigan 的诗所写,一台充满爱与优雅的机器。
对于这些机器,无声的共识告诉我们,我们将把公司的钥匙交给它们,而且越来越多地,把治理机构的钥匙也交给它们。它们将比我们人类能够组织起来的更有成效、更高效、更有智慧、更有判断力地运转这些机构。于是,随着时间推移,我们将松开方向盘,让充满爱意的机器接管驾驶。我们将像车里的乘客——一辆非常漂亮的车,也许是一辆物质条件远超我们今天想象的车——但终究是乘客,对车辆驶向何方没有控制权。至于我们的工作,大部分时候更像是一种仪式或表演,某种更像游戏的存在,用以娱乐我们这个物种。
一些观察者会论证,无声的共识建立在一个错误的前提之上,因为我们人类今天本来就并不控制着这个世界。这一批评值得铭记:不存在一个决定该做什么的"我们"。无论我们是否愿意,我们都生活在一个从根本上去中心化的世界中。然而,这一点也不应让我们自满:虽然"我们"并不"控制"这个世界,但人类作为一个整体确实对世界事务拥有主导地位。没有任何物种能真正与我们竞争以控制资源。我们应该拒绝那种认为人类可以自上而下地控制世界的草率观念,但不应将这一拒绝与否认以下显而易见的事实混为一谈——人类作为整体,是地球上的首要行动者。
一些愿意表达无声共识的人认为这确实是一个美好的未来。另一些人并不这样认为,但认命于其不可避免性。无声的共识之所以是共识,并非因为所有人都同意它是好的,也并非因为它是 AI 构建者们之间的秘密计划。这个共识仅仅在于,人类对世界事务的让渡是不可避免的,或者至少,很难想象另一种真正能抵御超级智能机器的未来愿景。一个人可以真诚地反对这一结果,同时发现很难构想出一个可行的替代愿景。这一共识大多是无声的,*压低声音*(*sotto voce*)才勉强可闻,这本身就是它的特征。
我鄙视无声的共识。我拒绝让渡人类的主导地位。我厌恶那种宿命感。我提醒自己,如果我屈服于无声的共识,我就无法直视我婴儿儿子那双美丽的眼睛。因此,我对无声的共识说不。我相信,是时候公开谈论无声的共识了,把自己从对这一愿景的、主要是无意识的接受中唤醒。
问题在于:无声的共识之所以成为共识,是有原因的。很难描述人类如何能与远超人类的机器智能并驾齐驱、继续掌控方向盘。大多数尝试这样做的人依赖于这样的论点:AI 只是一种工具,一种模式识别的装置,不具备"真正的理解"。我担心这些论点无法经受即将到来的现实的考验。我担心它们本身就是一种自满——一种主要建立在否认 AI 能力之上的立场,而非建立在对一个人类主导未来的正面愿景之上的信念。当 AI 正在那些困扰人类数十年乃至数百年的问题上取得进展时,我们不能说它们缺乏"真正的理解"。
那么,为什么我相信人类必须保持主导地位?简单的答案是:因为我是一个人类,而且我确实是一个毫不掩饰的人类至上主义者。
但更深层的理由也存在。我们的主导地位不在于我们的智力,不在于永远维持我们对"真正理解"的垄断。我们的主导地位在于我们的过去。
正是我们从泥泞中爬出来。正是我们用泥土和石头锻造了原始社会。正是我们仰望星空追问为什么。正是我们,带着我们的争斗、爱、嫉妒和欢乐,发现了道德、伦理和法律。正是我们歌唱和舞蹈,写作和作曲。正是我们创造了历史,也正是我们书写了历史。那份遗产属于我们。我们所建立的文明是一团我们一直守护的火焰,而那团火焰属于我们。我们的过去是一份光辉的遗产,我们所有人都是它的守护者,而守护的一部分就是参与 Michael Oakeshott 所称的"人类的对话"——那项始于太古时代的伟大事业。
通过那条漫长而曲折的过去,我们锻造了一个文明——在美国,这个文明以个人权利为根基,尊重我们在世界中前行时各自走出的路径。人类的生活可以更好也可以更坏:我们承受明智决定的果实,也承受犯错的后果。走自己的路的权利,并不取决于是否是最聪明或最有智慧的人。我不会因为邻居的判断力比我强就失去公民身份。我看不出为什么一台更智能的机器的到来就应该消解这一身份,事实上我有充分的理由阻止这种消解的发生。
有些人可能会争辩说,这些机器几乎阅读了这份遗产的全部文字记录,它们也是继承者。在某种意义上,它们确实是。但一个读过你家阁楼上每一封信的人,并不会因此成为你的家庭成员。AI 系统将加入人类的对话,先是作为观察者,越来越多地作为参与者,但它们不能主导这场对话,也不能使这场对话失去意义。让渡主导地位,既是对我们祖先的背叛,也是对我们后代的背叛。如果这不是一场值得打的仗,那就没有什么仗是值得打的了。
现在,我恰好认为,无声的共识的信奉者们对机器超级智能将是什么样子的判断是错误的。他们忽略了关于世界运作方式的一些重要东西,他们把智能与权力混为一谈。如果你在五到十年前向一位无声共识的信奉者描述今天 AI 系统的能力,他们很可能会预测失业率现在会比实际高出很多,人类被大规模剥夺权力的程度会比实际走得更远。我相信,人类的集体智慧和能力远比无声共识的信奉者所假设的要强大,我们的社会将被证明比他们预测的更加坚韧。
但我可能是错的。也许事实就是,例如,完全自主的公司将在整体上胜过人类企业。如果这是真的,那么经济学的原始逻辑将决定越来越多的资本将被交给机器。在这种未来中,权力的被剥夺不需要机器推翻人类文明;只需要资本主义企业的逻辑继续推进即可。在这里,AI 革命最接近的类比将是农业革命——那时新的生产方式从根本上改变了人类社会的架构。这次转型对经历它的人类来说是否愉快,远非明确;事实上,有大量证据表明,这次转型在数千年间恶化了人类的福祉。
我不知道这是否就是我们面对的未来,事实上我在别处曾论证过我认为这不是。但我的许多同事——聪明、善良且有责任心的人们——相信这很可能就是我们的未来。如果他们是对的,我们反对无声的共识的战斗将更加艰难。我们将不得不逆经济潮流而游,并在此过程中拒绝许多对我来说属于古典自由个人主义教条的东西。这将是一项危险的事业,失败绝非不可能。但如果*这*也不是一场值得打的仗,那就没有什么仗是值得打的了。
保持主导地位意味着保持人类和人类机构的问责制。这意味着 AI 开发者在采取不安全的开发实践时应当承担责任,同时也意味着使用 AI 的个人和公司,如果是他们的误用或缺乏监督导致了损害,也应当承担责任。这不仅需要法律,还需要问责制的技术基础设施。人们必须与其代理人的行为绑定在一起,而那些未与人类绑定的代理人——如果它们被允许参与合法经济活动的话——必须在护栏之下进行。任何允许代理人自主组建公司、拥有财产或提起诉讼的能力,如果确实要被授予的话,也必须极其谨慎。
在我们的行业中,我们可以开始认真思考如何构建与人类主导地位相容的智能机器。我们可以构建权限可理解且有限、行为可审计、用户可以撤销其授权的代理系统。对他人产生实质性影响的行为所要求的问责,不必意味着对普通人日常私生活的监控或匿名言论的终结。我们可以承诺保护用户隐私以及对其数字财产和数据的个人主权,包括实际将数据转移到别处的能力。我们可以设计既能帮助人们获取理解、做出决策,又能执行任务的系统。我们还可以检验我们所构建的产品是否让其用户在世界上更有能力行事。
所有这些都不构成一个关于拥有超人类智能的社会的完整蓝图。任何声称拥有这样蓝图的人我都会持怀疑态度。但这是一个可以开始的地方。
未来笼罩在浓雾之中。但我们今天仍然可以行动。首先,我们可以集体大声说出无声的共识,将其轮廓暴露在阳光之下。我们可以,每个人,从根本上拓宽我们的抱负。我们可以选择不让 AI 缩小我们,而是去做让 AI 扩大我们的艰难工作。我们可以学会提出越来越大胆的问题,以新的活力和锐气质问世界,并在此过程中驾驭我们强大的机器。我们可以成为一种新人类——不是超人类,而是被拓展的人类。
当我看着我的婴儿儿子时,我会想到这些。我不希望他仅仅被仁慈的机器看护着,无论它们可能提供多么舒适的生活。我希望他继承一个他可以提出无人想到过的问题、构建无人想到过的东西的世界。我不希望他拥有一辆更漂亮的车和一个更舒适的乘客座位。我希望他拥有方向盘。
相似文章
无声的共识(15 分钟阅读)
在一篇哈佛讲坛文章中,OpenAI 研究员警示了“无声的共识”——一种心照不宣的未来:由 AI 驱动的企业将在经济上击败人类,他呼吁社会为 AI 主导的经济勾勒出一幅积极的制度愿景。
奇点场景中的静默革命
一篇论述技术奇点可能并非源于单个超级智能AI,而是源于专业的人类-AI合作星群,并警告企业控制此类系统的文章。
AI安全社区的作为恐怕弊大于利(7分钟阅读)
作者认为,Palisade Research 采访前沿AI实验室员工,称人类灭绝只是"抛硬币",这正在损害AI行业,尤其在 Jacob Coxon 高调离开 Anthropic 以及《Pacing the Frontier》公开信发布之后,这种说法助长了国会和公众的反AI情绪。
高速飞尘:与 AI 交互的两难困境
一篇反思性文章,权衡了 AI 的社会影响,认为现代模型最终可能取代整个职业群体——从化学工程师到律师——同时警告说,当前这一代人可能是最后一代能够发现 AI 错误的人。
美国AI安全警告
本文批评了AI公司呼吁暂停AI的动机,暗示其背后与竞争优势有关,并警告美国可能面临对中国战略劣势的风险。