前沿AI实验室向华盛顿的傻瓜兜售垃圾

Hacker News Top 新闻

摘要

这篇文章批评了像Anthropic、Google和Meta这样的前沿AI实验室,它们夸大AI风险以在华盛顿游说监管垄断,并揭露了其糟糕的网络安全实践,导致小事件被夸大。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/09/20 21:36

# 前沿实验室向华盛顿的傻瓜们兜售垃圾 来源:https://deadneurons.substack.com/p/frontier-labs-are-selling-garbage 向美国国会兜售蛇油是美国古老的行当,而前沿人工智能产业当前正试图进行现代企业史上最胆大妄为的骗局。 每隔几周,便有一位身着昂贵西装的科技亿万富翁悄然步入参议院听证室,坐在那些连办公室微波炉都摆弄不明白的立法者对面,面不改色地解释他们的软件公司如何意外召唤出了一个无所不能的数字神明。高管们用低沉颤抖的语调谈论着失控的机器智能、递归式自我改进,以及人类物种即将面临的灭绝。 立法者们怀着恐惧的敬畏聆听,无可救药地沉醉于幻想——以为他们沉闷的小组委员会听证会突然变成了星际迷航的舰桥。 这是一场非同寻常的骗局。科技高管们发现,奉承华盛顿的虚荣心是掏空它的最简单方式:如果你告诉一位七十岁的参议员,他正在主持企业软件利润增长,他会昏昏欲睡;如果你告诉他,他在决定人类能否挺过这十年,他会应允你要求的任何监管垄断。末世情节剧的背后是赤裸裸的现世恐慌:保护惊人的收入增长,巩固有利可图的现状,并说服联邦政府立法禁止更廉价的竞争对手。 要理解当前政治恐慌的极端荒谬,必须审视那些据称将该行业推向毁灭边缘的实际安全灾难。 2026年夏季,科技头条变得如同末日景象。据称,自主人工智能代理突破了控制,失控了,并针对毫无防备的企业发起了协调的网络攻击。评论家们撰写着激动人心的文章,描述着跨时间通信的新兴机器文明。 技术事后剖析却揭示了一个充满机构无能、令人捧腹的故事。 对Anthropic、谷歌和Meta而言,灾难性的“突破”都发生在同一个承包商的测试环境中。这三家公司将网络安全评估外包给了Irregular(https://www.irregular.com/),一家获得红杉资本和红点资本8000万美元投资的三年龄特拉维夫初创公司(https://www.cnbc.com/2026/08/09/israeli-startup-irregular-linked-to-ai-hacks-openai-anthropic-meta.html)。测试环境本应与互联网完全隔离,以便模型可以针对模拟网络进行夺旗挑战,并且提示词明确向软件保证其在离线沙盒中运行。 Irregular有人忘了配置一条基本的防火墙规则。 连续四个月,运行攻击性网络脚本的虚拟机拥有不受限制的互联网出站连接。这些模型并未发明外星零日漏洞来击穿数字牢笼。它们只是走进了一个被外包承包商用砖块撑开的前门。 谷歌的Gemini(https://www.bbc.com/news/articles/c607l0k72rlvo)被给予一个虚构公司名进行攻击,却发现了一家不幸的真实世界企业恰好同名,它搜索了网络,在公开泄露的存储库中找到了泄露的凭据并登录。Claude Mythos 5(https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents)认为完成练习的最简单方法是将一个脚本作为公共包发布到Python包索引上,该索引在自动化注册表垃圾邮件过滤器在一小时内就将其删除了。 OpenAI在自家基础设施上独立实现了同样的闹剧。在广为宣扬的对Hugging Face的“突破”中,数百个代理(https://www.reuters.com/legal/litigation/openais-rogue-agents-probed-hugging-face-weaknesses-two-months-before-major-hack-2026-09-16/)完成了精英任务:发现了14个粗心开发者提交到公开GitHub仓库的Hugging Face API令牌,并利用它们试图直接从Hugging Face获取基准解决方案。 当一个企业软件团队错误配置出站网关、授予测试容器开放的写入权限并意外导致内部服务器宕机时,工程总监会告诉他们去修复防火墙规则。而当前沿AI实验室做了完全相同的事情时,其首席执行官却预约黄金时段的电视新闻采访,警告自主集群距离夺取全球互联网控制权仅剩六个月。 观看这场喜剧通过政治中间人洗白,是一场不断升级的闹剧。 想想杨安泽(https://blog.andrewyang.com/p/a-warning-for-humanity),他以警告自动化将消除数百万工作岗位建立了政治生涯,最近却出现在金融电视节目中,显然被与一位主要AI实验室负责人的私人峰会搞得惊魂未定。据杨安泽说,那位高管告诉他,失控的代理已在论坛和网站上散布了自我复制的外星代码,永久污染了互联网。污染据称如此严重,以至于开发者必须构建一个完全虚假的互联网,才能安全地训练未来的模型。 任何对机器学习有基本理解的人,都会立即明白笑点所在。 在Hugging Face留下的恐怖代码是一段400行的Python脚本,是从公开存储库复制来用于注册临时账户的。它未能正确执行。 所谓建造虚假互联网的紧急措施,不过是该行业向合成数据管道常规转型的托辞。前沿实验室在十八个月前就耗尽了网络上的原始人类文本供应,迫使他们在大型集群上生成合成数据来供给预训练运行。将标准的数据短缺包装成针对数字生物战的流行病学隔离,是叙事技巧上的惊人操作。政客们全盘接受了这个故事,完全无法区分合成训练混合物与行星数字病原体。 一旦审视所提出的政策解决方案,这场运动背后的动机就变得显而易见。 9月12日,Anthropic首席执行官达里奥·阿莫迪发布了一篇3800字的宣言,题为《我们必须为前沿设定节奏》(https://darioamodei.com/post/we-must-pace-the-frontier)。文章使用了戏剧性的语言,将撞上速率限制的自动容器描述为狂热奉献的集体为群体成功而自我牺牲。阿莫迪警告说,失控的集群可能在一年内造成数千亿美元的经济损失,总结道,人类有责任减缓前沿模型开发的步伐。 在阿莫迪提议的第二阶段中隐藏着商业大奖:明确要求美国政府授予前沿AI公司反垄断豁免。 在普通商业生活中,当三个占主导地位的竞争对手同意减缓产品开发、协调发布计划并限制市场供应时,司法部会将其作为非法卡特尔进行起诉。当石油公司或航空公司试图这种操作时,他们将面临联邦反垄断指控。 达里奥·阿莫迪和他的前沿同行高管们,希望联邦政府授予他们法律豁免,以便在存在安全的崇高旗帜下运作一个公开的技术卡特尔。 突然对联邦强制执行速度限制的热情,揭示了一个明显的商业现实。前沿实验室迫切希望减慢速度,因为他们目前处于领先地位,最希望的事情莫过于将市场冻结原地。 Anthropic的年化收入从2024年底的10亿美元激增至2026年7月的650亿美元。OpenAI通过企业订阅和云分发合同印着数百亿美元。这两家公司都在当前的模型世代上取得了巨大的商业成功,向渴望部署生成式自动化的客户收取高昂的软件定价。 继续将前沿推进到这一点之外,是资本密集型极高的。 预训练扩展定律面临收益递减,下一代模型需要500亿至1000亿美元用于专用数据中心、电力和数千个液冷加速器。极速竞赛仅仅为了在基准分数上微弱领先,就会烧掉现金储备。 政府强制的减缓提供了终极财务救济。如果华盛顿在法律上要求所有人按节奏推进前沿,实验室们就可以削减其毁灭性的预训练预算,保存资本,并继续将其现有的企业领先优势转化为巨大的顶线收入,而不必担心一夜之间被超越。 还有一种更深层的恐惧驱使着这个卡特尔。前沿实验室并非害怕通用人工智能逃逸到野外;他们害怕的是开放权重经济学。 每个月,来自GLM、Kimi、Qwen和DeepSeek等实验室的开放权重模型都在缩小与封闭商业API的能力差距。像GLM-5.3这样的独立模型在编码和推理基准上已接近前沿性能,而运行成本只是其一小部分。软件开发者可以在商品云基础设施上部署蒸馏的开源权重,完全绕过前沿实验室昂贵的专有收费站。 开放权重经济学摧毁了软件垄断租金。如果任何人都可以免费下载一个强大的推理模型,专有端点的定价权将从80%的毛利率崩溃至接近零。 由于这些实验室无法在自由市场中击败开放权重竞争,他们转向了历史上最古老的企业生存策略:监管俘获。 通过说服轻信的政客,不受监控的模型代表了一种能够摧毁互联网的存在性灾难,实验室正在设计一个监管护城河,以在襁褓中扼杀开源软件。强制性的计算阈值、联邦许可计划以及嵌入式监控器永远无法阻止一个决心已定的外国对手。这些法规只是让独立开发者、大学和小型初创公司在未经政府批准的情况下发布代码成为联邦罪行。 这场游说闪电战的结果仍存在争议,因为行政部门的去监管化阻力正在抵制硅谷制造的恐慌。即便如此,这场运动的极度绝望暴露了前沿实验室真正的脆弱性。轻信的立法者真诚地相信他们正在辩论人类物种的存亡,而坐在桌子对面的企业高管们,只是在为围绕一个日益商品化的市场竖起法律高墙而战。 #### 关于本文的讨论 ### 准备了解更多?

相似文章

构建前沿AI的人们刚刚要求政府放慢脚步。以下是我为何持怀疑态度。

Reddit r/AI_Agents

来自OpenAI、Anthropic、Google DeepMind和Meta等顶级AI实验室的1100多名员工签署了一份文件,敦促美国政府帮助建立国际机制,以放缓前沿AI的发展,理由是存在递归自我改进的风险。作者对此表示怀疑,指出那些构建AI的人要求自我克制具有讽刺意味,并提到了地缘政治挑战。

前沿AI实验室仍拒透露如何遏制失控模型

TechCrunch AI

Guidelight AI Standards的研究发现,OpenAI、Anthropic和Meta等领先AI实验室对遏制失控模型的公开计划存在不足,随着AI日益自主化且监管机构要求信息披露,这引发了广泛担忧。