Anthropic CEO 主张政府应能关闭危险AI，数日后政府关闭了Anthropic

6月初，Dario Amodei 发表文章《AI指数级增长政策》，主张前沿AI应像飞机或药品一样接受监管：政府应能对最强大的模型进行测试，并在其未通过安全标准时阻止或撤销发布。包括我在内的许多人认为这是一个合理的立场。然而，就在同一个月，事件发生了。Anthropic 向公众发布了带有安全护栏的 Fable 5，并将未加防护的版本 Mythos 5 仅提供给一小部分经审核的合作伙伴。美国官员认定存在绕过 Fable 5 安全护栏的方法，判定该模型可能显著加速网络攻击，并发布出口管制指令，要求 Anthropic 对地球上所有外国国籍人士（包括 Anthropic 自己的非美国籍员工）暂停这两个模型。Anthropic 在数小时内遵守了指令。于是，曾主张国家应对危险AI拥有关闭开关的公司，成为首个被实际使用该开关的对象。我反复思考的问题是：这是否证明 Amodei 是正确的，系统正如他所要求的那样运作？还是说，这是一则警示故事，提醒我们一旦造出那个开关，最终由谁来掌控？安全监管与监管俘获之间的界限在哪里——后者可能悄无声息地将前沿能力锁定在少数获批玩家手中？该指令也波及了盟友，因为“任何外国国籍人士”包括英国、欧盟、日本和韩国的企业。对前沿模型采取国家安全框架，是否不可避免地会打击到盟友企业，而不仅仅是对手？如果模型自身的护栏可以被绕过，那么外部政府持有的关闭开关是否才是唯一真正有效的控制手段？而我们又是否对掌控它的人感到安心？我确实想听听大家的看法，尤其是在原则与俘获问题上的立场，因为我自己可以从两方面进行论证。我详细记录了整个事件及其对依赖美国模型的企业的意义，详见：https://www.theprofessor.info/insights/frontier-ai-geopolitical-dependency