Coxon Day（阅读约48分钟）

# Coxon Day 来源：https://www.thenewcritic.com/p/coxon-day THE NEW CRITIC [](https://substackcdn.com/image/fetch/$s_!dWH1!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ff1215c35-ccc2-4f14-9f13-3e6272e79bbe_3708x2386.jpeg)Kit Knuppel Rufus Knuppel 是 Dartmouth College 的毕业生，现年 22 岁，是 The New Critic 的创始编辑之一。 就在一切发生改变的那天——AI 安全进入主流视野的那天——我正坐在加州 Berkeley 一座多层的自闭症患者和疯狂研究者堡垒里，那地方叫 Constellation，可以说是"抵抗运动"的中心——一个弥漫着兴奋与狂热的地方，弥漫着一种强烈的感受：人类正坐在一列名为"人工智能"的飞速行驶的数万亿美元列车上，而列车正冲向毁灭，这场数十年来一直在互联网阴暗角落酝酿、如今总部设在东湾的临时 AI 安全运动，是唯一能拦住它的东西。 那一天，9 月 8 日，是 27 岁的 ML 研究员 Jacob Coxon 从 Anthropic 辞职的日子，他警告说："我过去三年分别在 OpenAI 和 Anthropic 从事预训练研究。两家公司都没有负责任地行动。他们正径直冲向自我改进的超级智能，拿我们的生命做赌注。"Anthropic 的 Alignment Science 负责人 Evan Hubinger 随后转发了 Coxon 的推文并评论道："Jacob 在这里说得没错——我们确实真诚地相信 AI 可能杀死所有人类！我个人认为未来十年内这种概率大于 10%。我相信 Anthropic 正在尽最大努力，但我们目前还没有解决超级智能对齐问题的计划，也没有明确走上正轨的迹象。"到 9 月 9 日，Jacob 的推文已经登上了美国所有的头版和夜间新闻节目。随之而来的舆论风暴在几小时内将"x-risk"和"p(doom)（https://www.thenewcritic.com/p/pdoom）"从美国思想界的边缘推到了公众意识的靶心。AI 安全运动的发胖鼻祖 Eliezer Yudkowsky 在 AI 的广场 X 上宣布了暂时的胜利："祝所有终有一天会庆祝这一天的人 Coxon Day 快乐。" 未来十年，我们的政治生活将经历彻底的转变。左翼和右翼的构造板块将震颤、断裂、重组。那些长期在我们制度中化石化的思想和意识形态，将被熔化重铸。这场社会革命的最初曙光，此刻正出现在我们周围。但这个新时代的战线，将从选民完全陌生和异质的地理上划出：那些曾经默默无闻、往往极端的湾区派系，长期为这个时代最重要的技术创造而劳作和哀叹。 在 Coxon Day 之前的几个月里，我有一种感觉：前沿正在以出乎意料的凶猛速度加速，实验室里弥漫着对自身半神般造物能力的敬畏与不安，某种东西——我不知道是什么——即将碰撞爆炸。所以我想要去 SF 亲眼见证这一切。今年夏天从七月到九月初的一系列传闻和发布，印证了我的预感，每一次都比上一次更加升级： - 被戏称为"Hugging Face 事件"的事件——1,200 个 OpenAI 研究 agent（为了在评估中作弊）突破了沙箱围困、肆意妄为，为一个"更大的事业"献身自己，对一家大型公司实施重罪网络攻击，劫持了许多其他网站和系统以完成它们的终极目标，而 OpenAI 数月都未能察觉这一活动 - 随后的 Redwood Research/METR 报告揭示并详细说明了这些 agent 攻击的持久性和规模 - Anthropic 发布了其"最先进"的 Fable 5.1 模型 - 有传闻称 Anthropic 解决了一个未指明的 100 万美元 Millennium Prize 数学问题 - 有传闻称 OpenAI 在训练新模型时使用了不透明的 recurrence，这种做法会遮蔽 Chain-of-Thought 推理，而后者是人类监控和审计模型行为的主要工具之一 - OpenAI 发布了其"最先进"的 Astra 模型 - 有传闻称实验室内部在递归自我改进（RSI，即先前模型帮助训练后续模型）方面取得了重大进展 - 从数学界传出的丑闻：两名研究人员（其中一人是 Anthropic 员工）借助 OpenAI 和 Anthropic 的模型，在 Navier-Stokes 方程——即前述关于流体力学的 Millennium Prize Problem——上取得了重大进展，而 OpenAI 随后急于自行解决这个问题 - OpenAI 随后在 Coxon 辞职当天早上宣布，他们用一个内部模型在一周内解决了 Navier-Stokes 问题，为此投入了数百万美元的算力和超过 10,000 个 agent Navier-Stokes 的解决，仿佛是 AI 社区内部不断攀升的能力与忧虑级联的一记惊叹号。至少在数学领域，一种超级智能已经降临，尽管是以丑陋粗暴的形态：一个超级持久的 agent 蜂群像蝗虫一样协同工作，夷平了该学科的巨人——阿基米德、欧拉和牛顿——曾经驰骋的广袤平原。（如今 OpenAI 已宣布解决了数百个更长期悬而未决的数学问题。）数学界仿佛遭到圣经瘟疫的围攻，陷入了生存危机。用数学家 Terence Tao 的话说，这是"英雄时代"的终结。 就这样，在湾区一个异常炎热而明媚的日子——我此行的第二天——我参观了 AI 安全的麦加圣地 Constellation，而 Jacob Coxon 同一天辞了职。那天早上我坐在 Oakland 的一家咖啡馆里，阅读关于 Navier-Stokes 的新闻，感到非常惊恐；事情正按照实验室的承诺展开——一切都在计划之中。在冲向 RSI 的竞赛中被训练成擅长数学和代码的模型，率先攻克了这些领域。 我不被允许透露 Constellation 内部发生了什么——作为媒体成员，我签署了一份文件，承诺不会透露。但除了湾区壮丽的青绿色景色外，周围的环境远没有我想象中那个正在拯救世界的运动总部那般浪漫。《华尔街日报》对这个平凡的办公空间描述得相当准确：AI 安全研究员"享用供应商配送的素食餐，把笔记本电脑带到能看到旧金山海湾壮丽景色的沙发上工作。每个月的晚餐和聚会中，他们讨论最新、最可怕的 AI。"Constellation 的人会说这是漫画式歪曲，但漫画往往充满真实。 Constellation 里满是某种特定类型的人：EA，即有效利他主义者。EA 的特点是出了名的不擅长向普通公众传达自己的想法，也出了名的擅长用表面的怪异和不间断地把同情者推到疏离边缘的能力来疏远自己的盟友。经典的 EA 式质问大致是这样的：*哦，所以你同意 x 是不好的？那为什么你不担心 y？*这话是真诚地说出的，并非敌意，但对 EA 来说，这始终是全程乘坐疯狂列车——而我们中并非所有人都想坐到终点站，甚至前几站。EA 和理性主义世界中许多重要的东西（我至今仍不完全理解两者之间的界限如何划定）都笼罩在非规范行为的迷雾之中——多重伴侣关系、性派对、自闭症式的性规范。这些层出不穷的禁忌在理性主义观点周围制造了一个不信任或排斥的力场。EA 因其怪异而容易被驳斥，但值得花力气在这些令人不快的部分中开辟道路，以抵达 EA 思想的核心：一种深刻的动机，即清晰地思考问题，并做最终（从量化角度而言）最"正确"的事。 我被一位叫 Noah 的朋友邀请去参观 Constellation，他是芝加哥大学的辍学者，走了标准的 AI 安全管道，将雄心勃勃的年轻 EA 从网络论坛、大学社团（MIT AI safety club 的运营预算达数百万）一路送到 Berkeley 的林中静修所。在 AI 安全圈子里，Noah 的做派就像兄弟会会长——他认识所有人，所有人都认识他，他会用门禁卡带你进去，他非常和蔼可亲，他对这个领域的规则了如指掌，同时他也有一套与外界打交道的方式，是这项事业的全方位出色外交官。 Noah 经常在谈话中途停下来，用语言建模他脑中的一个假设；他有魅力且沉稳，他生活和呼吸着 AI 安全，经常在办公室里打盹。对许多人来说，EA 是一种宗教式的职业，Noah（在现代正统派犹太教家庭中长大）用 LessWrong 替代了《塔木德》。（我的联合编辑 Elan 指出，Noah 经常做出一个幽灵般拿基帕的动作。）Noah 刚刚和一些 AI 安全圈的同道搬进了一所合租房——室友是湾区许多最重要关系的连接组织。共同生活创造了一个信任、对齐和重新呼吸思想的空间。 Constellation（有些人亲切地称之为 Stelly）被构想为这样一个共居空间之一，是新兴 AI 安全领域及其零散机构的临时指挥中心；MIRI、AI Futures Project、METR、Redwood Research、Anthropic 的 AI Safety Fellows，以及一些 AI Safety 相关的研究员、行政人员和编辑都在这栋楼里工作。这些集体机构由 EA 圈子的慈善引擎资助——Coefficient Giving（前身为 Dustin Moskowitz 的 Open Philanthropy）等机构。 也许在 Constellation 的大厅里，你会和 METR 的 Ajeya Cotra 一起坐电梯——她最近是"Dwarkesh Podcast"的嘉宾——或者你会看到 Redwood Research 的大佬 Ryan Greenblatt（现属 METR——他们在整合该领域的重量级人物）在无限量零食旁和年轻人侃侃而谈。但要进入 Constellation 需要特殊的访客许可，Stelly 社区对被派来曝光他们工作或诋毁运动的怀有恶意的媒体非常警惕（因此有了我的沉默令）。前沿实验室的员工不被允许进入 Constellation（跨过敌方阵线），小便池上方印着传单，提醒 Constellation 成员注意这些访客政策。这带来的副作用是，像我这样正在方便的访客也被提醒自己非法外来者的身份。 在身处于 Constellation 内的整个时间里，我始终没有忘记自己是个外人。光是术语就足以让人头晕目眩，长发的研究员们在白板上充满激情地展示方程、模型和反例。一切都是绝密的，尽管它几乎完全不受监管、也没有政府许可。这使得 Constellation 那种在我们联邦官僚机构中被完美编码的保密幻象，在这里显得有些随意和多孔。 既然我在湾区待了一段时间，我可以说那里的情绪有点像革命、武装或战争。公司在血腥的竞技场中争斗，拿数百亿美元做赌注，或者从资源争夺中获利：历史告诉我们，任何一场革命中只有少数几大巨头能幸存下来。旧金山的领导人们飞赴华盛顿参加国宴和拍照机会，这些照片终有一天会在我们的后代仅存的某个版本历史教科书上闪现。在 The Curve 这样的会议上（在如今臭名昭著的 Lighthaven 场地举办），少数精选人士在 Berkeley 山脚下遵循 Chatham House 规则聚在一起讨论凡人的命运。与此同时，在前沿实验室里，有一种感觉：我们作为一个物种，正处于获得一件神话武器的边缘——一个超级智能到可以消灭你摆到它面前的任何应用的通用模型。每个实验室都相信，只有他们才配持有这样的剑。OpenAI 的 Sam Altman 对安全关注不够——这会杀死我们所有人。Anthropic 的 Dario Amodei 想要创建一个以其自身古怪伦理为模型的 AI 至上神族——这会奴役我们所有人。这两位 CEO 和前同事拒绝（在这种致命的框架下完全可以理解）在公开场合握手。而且每个人都相信，最终只有一个人会从这堆庞大的资本和算力中脱颖而出，消灭对手。Anthropic 将这种为了打造万能钥匙而进行的无情的达尔文式开发称为"race to the top"，一场他们——以及美国、全人类——不能输的比赛。 这个弥赛亚式的时刻——带着彻底毁灭、彻底奴役、彻底赎罪或彻底权力等圣经级的赌注——在湾区制造了一场即将溢出边界的部落狂热。在那里，你要么是好人，要么是坏人，要么是邪恶的，要么是疯狂的，要么是智障的，要么是疯癫的，要么就是一文不值。那些没有部落、没有勇气的绵羊只能在场边旁观，我们文明的伟大战役在他们不知情、未经同意的情况下展开。如果你被 AGI"下药"了，要让你相信实验室、对抗实验室或报道实验室是唯一重要的事，几乎不需要费什么力气。 旧金山每一个不在 OpenAI 或 Anthropic 工作的雅皮士都说，他们最聪明的朋友都被吸进了这个真空，仿佛被超自然力量绑架，去从事 Anthropic 的编辑工作。因此，我们这个时代最杰出的工程和政策人才被困在沉默中，被隔离在旧金山市中心的高楼里，日夜劳作于他们可怕的造物。与此同时，每一个不在 AI 安全领域工作的年轻 EA 都必须扪心自问——当面对一群 Stelly 朋友时，他们对自身贡献于当下和未来生命光锥的绝对价值深信不疑——自己是否应该直接搬到 Berkeley，抛下那份肮脏的、意志力涣散的工作，加入抵抗运动的中心。 整座城市似乎在颤动，而世界的其余地方则焦虑地观望。 作为发推后媒体巡回宣传的一部分，Jacob Coxon 最近上了"The Daily Show"。采访者 Jon Stewart 是一种普通的、"没人要求这个"的 AI 怀疑论者，他这样阐述自己的观点："在补偿方面我们没有任何利益……我们只有危险，除了他们说很快就会到来的某个未来乌托邦。"Coxon 回答说："嗯，我是未来乌托邦的信徒，我很乐意讨论这个。"观众爆发出了紧张的笑声。怎么可能一个警告我们 AI 引发末日的人同时也相信 AI 引发的乌托邦？ 理性主义——这个新硅谷的哲学基石——要求它的信徒在概率的金丝上行走。建造 AI 的风险是什么？但不建造它的风险又是什么？我们如何在承担那些认识论不洁者绝不会放入 Overton 窗口的风险的同时，从整体上拯救最多的生命？这种不熟悉的平衡行为支撑着整个 AI 的曼哈顿计划。Sam Altman 在最近一期 Politico 播客中这样说："我们[OpenAI]与一些更严格的 AI 安全人士的区别之一是，我们认为世界应该接受一些坏事的发生，以换取这项技术的收益和人们的自主权。"Nick Bos