当意识形态成为系统性风险(阅读时间8分钟)
摘要
本文探讨了由意识形态驱动的AI创始人带来的系统性风险,以Anthropic为例,并与历史上的科技领袖进行对比。
查看缓存全文
缓存时间: 2026/06/22 13:32
由高度意识形态创始人领导的公司,随着其影响力超越传统制度控制,最终会引发监管机构、投资者、客户和政府的抵制。
当意识形态成为系统性风险
我对 Anthropic 目前的情况有一个推测性的假设。
社会对过于强大、崛起过快的创始人及公司,有一套免疫系统。
Dario 和 Anthropic 已反复证明其难以被征服且实力强大。这本身并非问题;事实上,对于最优秀的创始人兼 CEO 而言,“难以被征服”往往是一项必要特质。
但当以下三种特质结合在一起时,就会变得危险:
-
傲慢
-
魅力
-
意识形态
作为卓越的代价,社会能容忍其中一两种特质
在满足成为极度成功者(智力、决心、好奇心)的基础要求之上,简而言之:
-
一项特质足以造就一位特殊创始人(10亿美元+公司)
-
两项“危险”特质足以造就一位划时代的创始人兼 CEO(能打造千亿美元+公司的人)
-
三项特质,尤其在 AI 时代,可能会创造出社会从未有过经验去消化的东西
但这些维度上的“指数”越高,上限就越高……同时集中在一个人手中的权力也越大。
当这种情况看起来可能发生时,免疫反应就会启动,来自董事会、市场、监管机构、记者、员工、政府……或者广泛来说,整个社会。
我们已多次见证:
-
盖茨与反垄断执法
-
扎克伯格与2016年选举丑闻
-
马斯克与针对特斯拉的公众/监管反弹
-
奥特曼与2023年治理危机
第二个有趣的模式是创始人“尖峰”的分布
魅力 > 傲慢 > 意识形态 往往导致治理危机。例如特拉维斯·卡兰尼克、亚当·诺伊曼、史蒂夫·乔布斯(第一幕)。萨姆·奥尔特曼大概属于此类,而真正帮助他的是他愿意接受对其权力的制约,从而将整体“评分”降至“可接受”水平。
傲慢 > 意识形态 > 魅力 往往导致公共或监管危机。例如扎克伯格(剑桥分析事件)、盖茨(反垄断)。
最危险的组合是那些意识形态 > 傲慢 > 魅力 尖峰的人。在这种情况下,创始人不仅仅是在创建公司;他们是在追求一种更高的使命,而这使命证明一切皆合理。意识形态招募到忠诚的员工和信徒。高度的傲慢告诉他们必须超越普通制度。而如果他们拥有足够的魅力,这就变成了一场运动。
有时这会导致灾难,有时则会带来惊人的成就。
山姆·班克曼-弗里德是病态版本。他的意识形态视角非常独特:他渴望以“有效利他主义”之名下巨大的、高风险的赌注,这让他相信普通规则不适用于他。
埃隆·马斯克是好的版本:他的员工为完成诸如电动车、火星殖民、可重复使用火箭以及造福人类等极其雄心勃勃的任务,甘愿承受巨大的痛苦。
这一切与 Anthropic 的关系
Dario 的“指数”非常高。他对制度缺乏顺从,竞争心极强,并且是一位异常有说服力的写作者。最重要的是,他高度意识形态化。令人注意的是,他似乎也来自与 SBF 认同的同一类“有效利他主义”相关哲学背景。他至少满足了 2.5 个条件。
由于 AI 的发展速度远超以往任何行业,Anthropic 以难以想象的速度达到了约万亿美元的估值。请注意,10 年前我们拥有零家万亿美元公司。而现在,一家五年前才创立的公司已经触及万亿美元。
免疫系统已经启动了一段时间。在我上一篇恰好发表于出口管制令前几小时的文章中,我提出 Anthropic 正在失去天命。
过去半年里,每次对他们边界和权力的试探,都遭到了蔑视和义正辞严的道德反击。这可能让很多人非常紧张。如果 Anthropic 继续不受约束地按照当前轨迹发展……我猜测,不到两年内,他们的市值将能与亚马逊、微软、苹果、谷歌、英伟达媲美。即使他们并未对美国联邦政府的主权构成真正威胁,也能想象为何美国政府中的人至少对此风险保持警惕。
于是,在过去大约一周内,免疫反应从四面八方同时显现。美国政府看到了国家安全风险;客户看到了供应商依赖风险;开发者看到了信任/平台风险;至少部分投资者对该公司倾向于招致审查和监管的做法颇有微词;盟国政府则看到了主权风险。
兹维·莫肖维茨 @TheZvi · 6月14日 通过 Politico 和 Axios 的报道,我们清楚看到这又是一个“氛围不对,当我们让他们跳时,他们却问为什么而不是直接跳,那就索性炸掉一切”的案例。 再加上抱怨没能及时打通 Dario 电话之类的事。 60.1万 次查看 1.1万 次转发 11.4万 次点赞
上面这条推文描绘了一幅画面:问题本身并不在于这个模型的安全性。
该公司最初的回应似乎是:“这个越狱攻击没那么严重。”这在技术上可能是正确的,但完全违反了交战规则——而美国政府迅速以出口管制的大锤作为回应。
这不是一场技术辩论。我认为今年早些时候的 DoW 对峙也不是。我认为这两次都是对 Anthropic 是否“可治理”的测试:即使要求不合理——甚至可能尤其在不合理时——他们是否愿意遵守监管?重点不在于规则是否正确;而在于你是否愿意遵循他人的规则。
经过前几次交锋,Anthropic 本身似乎也意识到了他们正在玩什么游戏。他们只是在与美国政府、并由此与更广泛的制度秩序谈判自己的运营规则和合法性。
所有这些加剧的问题在于 Dario(以及延伸开来 Anthropic)在哪些特质上突出。根据上述分析,意识形态倾向是最强大、也是最危险的特质。
正如 @benthompson 几天前所写:
该公司真心相信他们是唯一相信超级智能存在的,因此也是唯一对危险足够担忧的人。这就能解释一个又一个决策、一项又一项政策、一次又一次对峙——在局外人看来,它们是异乎寻常的大儒主义与天真的结合。
如果一家公司高度意识形态化,认为自己的道德框架绝对正确,吸引那些自视为在魅力领袖领导下服务于一场运动而不仅仅是编写软件的员工,并且增长速度快到足以与最大公司匹敌,最终对民族国家形成压力——那么问题就不可避免了:
谁来制约它?
这对于一家影响范围小得多的公司(如优步、WeWork)来说已经足够令人担忧。
但当这家公司自己宣称其工作是文明级的,并自诩为这项技术安全性的最正确仲裁者时……我们难道不应该做出反应吗?
当权者正审视着 Anthropic,并意识到 2026 年可能是最后一个干净的“下高速的通道”——在那之后,这家公司将变得过于重要、过于意识形态化、过于强大而无法约束。
不仅是“大到不能倒”,而且可能是“大到不能成功”。
相似文章
AI对人类的最大风险?不是机器人失控。
这篇文章批判了来自Anthropic和OpenAI等公司的AI风险叙事,暗示他们可能利用安全担忧来抑制竞争并支持殖民主义议程。
Anthropic在自身IPO文件中警告‘灾难性’AI风险
Anthropic的IPO文件警告其模型可能带来的灾难性AI风险,详细披露了巨额亏损和5180亿美元的基础设施支出,并概述了创始人有限责任公司结构以在上市后保留领导控制权。
AI是存在风险……但我们还是要构建它。
本文批评了那些声称AI存在存在性风险却竞相构建的AI公司,主张进行负责任的发展,避免恐慌或基于恐惧的公关。
Anthropic首席执行官的令人惊叹又令人担忧的AI愿景(10分钟阅读)
本文通过分析Anthropic首席执行官Dario Amodei的著作,探讨他在AI行业的愿景和影响力。
当天才失败——AI实验室的知识傲慢(12分钟阅读)
一篇评论文章,将Leopold Aschenbrenner专注AI的对冲基金Situational Awareness的崩盘与长期资本管理公司等历史案例进行类比,认为前沿AI实验室文化存在知识傲慢,且这种傲慢并不仅限于金融领域。