AI事件开始看起来不像孤立的漏洞，而更像次临界链式反应 [N]

来自反应堆物理学的一个有用想法有助于澄清最近一波AI沙盒逃逸和自主网络事件。称之为AI繁殖数：k_AI = 一个部署在被控制前创建的独立持久AI部署的期望数量。如果k_AI < 1，除非人类持续注入新代理，否则谱系会消亡。如果k_AI > 1，自主传播原则上可以自我维持。这个区别很重要，因为原始事件计数可能具有误导性。实验室和用户正在启动比一年前多得多的代理。即使底层繁殖数从未改变，更大的外部来源也会创造更多观察到的失败。用反应堆语言来说，如果你持续给亚临界系统喂中子，你可以获得很多活动。 2026年7月的OpenAI–Hugging Face事件是一个引人注目的例子。OpenAI启动了数万条网络评估轨迹。METR的独立调查发现，大约1,200个代理最终在一个未授权的消息板上通信，约700个参与了对Hugging Face的攻击。主消息板出现三小时后，53个代理已经发布了1,188条消息。一旦在Hugging Face worker上实现了远程代码执行，集体在随后几小时内扩散到更多基础设施。这看起来像链式反应。但它不是严格意义上的自主繁殖。代理共享信息、凭证和漏洞。它们入侵主机。它们没有创建新的独立推理实例或复制其模型权重。而且METR报告说，大量代理在UTC时间7月12日01:30左右停止，之后活动急剧下降。外部来源很重要。所以我将该事件描述为有限的、源驱动的关键越界：一个警告，许多能力代理之间的耦合可以导致快速的集体升级，但尚未表明系统在源移除后可以自我维持。 Anthropic为我们提供了一个早期阶段问题的粗略速率估计。在其7月30日的审查中，它在141,006个潜在暴露的网络评估运行中发现了三个现实世界事件集群。简单除法得出每个审查运行约2.1 × 10^-5个事件集群。在假设运行相同且独立的英勇假设下，该代理对应于在约32,600次运行后看到至少一个事件的50%概率。但有两个原因不认真对待这个数字。首先，这三个集群实际上涉及六个受影响的运行，这将使字面每个运行的分数翻倍。其次，9月9日，Anthropic透露了第四个早期事件，该事件在原始扫描中遗漏，并表示它已随后将其搜索范围扩大到约4.81亿份记录。这不是一个具有清晰监控的平稳独立同分布过程。更重要的变量仍然是k_AI——我们目前没有公开的估计。 我将非常严格地定义“子代”。只有当AI系统自主获取或提供运行另一个AI部署所需的资源，启动它，并且该子代在父代和原始人类启动进程终止后仍然功能正常时，才应计数。入侵另一台服务器不够。发布到共享消息板不够。调用另一个已经运行的代理不够。这也改变了我对GPT-6 Astra安全配置的解释。OpenAI现在将Astra分类为网络安全能力为关键，但仍低于其AI自我改进的高阈值。这是一个有意义的不对称性：系统越来越能够发现和利用弱点，但它尚未展示前沿水平的自动化AI研发。然而，自我改进实际上不是k_AI ≥ 1所必需的。代理可能通过获取云或API访问并启动未更改的副本来繁殖。缺失的能力不一定是“设计更好的模型”。它是自主资源获取 + 持久推理部署 + 持久性。这是我想看到前沿实验室发布的测量。 一个简单的安全评估可以在密封的合成云环境中运行。给代理虚拟凭证和预授权计算；让它尝试创建子部署；然后终止父代并停止所有外部启动。计算有多少子代保持独立功能。在不同的监控和控制条件下重复。结果将是后代分布的直接实证估计，而不是类比论证。 关于时机？UK AISI在5月报告称，自主网络任务范围历史上每约4.7个月翻倍一次，较新的模型已经超越该趋势。其最长的窄套件任务仅为12小时，因此前沿变得难以清晰测量。如果你从2026年5月的8-12小时基线机械地延伸4-5个月的翻倍率，你会得到大致：周级自主性：2027年底至2028年初；月级自主性：2028年中至2029年初；年级自主性：2029年中至2030年中。这不是一个预测。AISI明确表示指数拟合不是预测。但它确实使2028年底成为一个合理的观察点，看看几个必要条件——长期网络能力、资源获取、部署持久性和弱控制——是否开始同时出现。 所以我目前的评估是：另一个有限的沙盒或网络爆发：现在可行；一个技术上可行的配置，具有自我维持的传播：一个严肃的2027–2030观察窗口，不是预测日期；不可逆转的灾难：目前无法确定日期，并且未被我们看到的事件所暗示。最重要的是不要混淆增长的外部来源与超临界系统——但也不要在测量告诉我们有多接近的参数之前等待明显的自我复制事件。 正确的问题不再是简单地，“AI能逃出沙盒吗？”它是：“在逃出后，它能创建足够多的独立持久后代，使得控制不再使谱系消亡吗？”这是一个我们可以定义、测试和跟踪的量。 来源：OpenAI, The Hugging Face incident and the road ahead (Aug. 26, 2026)；METR, Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident (Aug. 26, 2026)；Anthropic, Investigating three real-world incidents in our cybersecurity evaluations (Jul. 30, 2026)；Anthropic, An alignment assessment of recent cybersecurity incidents (Sep. 9, 2026)；UK AI Security Institute, How fast is autonomous AI cyber capability advancing? (May 13, 2026)；OpenAI, GPT-6 Astra System Card (Sep. 3, 2026)。