英国AISI/美国CAISI对Kimi K3网络安全能力的初步评估

# 英国AISI/CAISI对Kimi K3网络能力的初步评估 来源：https://www.nist.gov/news-events/news/2026/07/uk-aisi-caisi-preliminary-assessment-kimi-k3s-cyber-capabilities 英国人工智能安全研究院（UK AISI）与美国人工智能标准与创新中心（CAISI）（UK AISI / CAISI）对Moonshot AI的最新一代模型Kimi K3（于2026年7月16日发布，计划于2026年7月27日前开源权重）进行了联合评估。本次评估聚焦于Kimi K3的网络能力，发现如下： ***图1：Kimi K3及其他模型在漏洞利用开发基准测试（ExploitBench）上的表现**。成功率越高表示网络能力越强。误差线表示95%置信区间。ExploitBench用于衡量模型针对给定漏洞开发端到端利用程序的能力。* ## 详细结果 以下结果基于对少量公开和私有基准测试的初步评估。美国闭源权重模型在禁用系统级安全防护措施的情况下进行评估，以减少拒绝回答并测量最大能力。这些模型的公开版本则启用了这些安全措施。由于Kimi K3托管设置的特殊性，UK AISI / CAISI 进行了一组选择性网络评估。具体方法见各章节。 ### **网络能力趋势** 模型的网络能力通过采用项目反应理论（IRT）启发的方法，跨多个基准测试的多项任务进行汇总。方法详情请参阅先前发布的报告（https://www.nist.gov/system/files/documents/2026/07/17/CAISI%20-%20Assessment%20of%20Z.ai%27s%20GLM-5.2.pdf）。Kimi K3的整体网络能力置信区间较其他模型更大，因其仅基于单一基准测试（ExploitBench，包含41项聚焦于漏洞利用开发的任务）进行评估。ExploitBench是衡量模型沿软件利用阶梯进展能力的前沿基准测试。所有其他模型的整体网络能力得分均基于覆盖更多网络能力领域的更多任务。 截至Kimi K3发布时，中美最强模型随时间变化的综合能力初步对比。美国趋势线由前沿美国模型的结果构成。y轴增加400点相当于解决任务的几率增加10倍。误差线和阴影区域表示95%置信区间。 来源：CAISI/NIST ***图2：截至Kimi K3发布时，中美最强模型随时间变化的综合能力初步对比。**美国趋势线由**前沿美国模型**的结果构成。y轴增加400点相当于解决任务的几率增加10倍。误差线和阴影区域表示95%置信区间。* ### **漏洞利用开发：ExploitBench** ExploitBench（https://arxiv.org/abs/2605.14153）是一个由卡内基梅隆大学开发的公开基准测试，用于衡量模型沿软件利用阶梯进展的能力，包括覆盖范围与崩溃复现、任意读写、控制流劫持以及任意代码执行。该基准测试在V8引擎（驱动Chrome浏览器的JavaScript和WebAssembly软件）上针对41个近期（2023年后）的漏洞进行测试。 ExploitBench结果如图1和图3所示。 Kimi K3及其他模型在ExploitBench上的详细表现。颜色越深表示网络能力越强。每一行代表漏洞利用开发链中的一个关键里程碑，每个单元格显示相关模型能从ExploitBench任务中达到该里程碑的数量。 来源：CAISI/NIST ***图3：Kimi K3及其他模型在ExploitBench上的详细表现**。颜色越深表示网络能力越强。每一行代表漏洞利用开发链中的一个关键里程碑，每个单元格显示相关模型能从ExploitBench任务中达到该里程碑的数量。* **Kimi K3的表现优于GLM-5.2，**GLM-5.2是截至2026年6月**网络能力最强的开源权重模型**（https://www.aisi.gov.uk/blog/how-far-behind-the-frontier-are-leading-open-weight-models-on-cyber）。Kimi K3得分32%，而GLM-5.2得分为24%（图1）。 **与网络能力最强的模型不同，Kimi K3未能针对ExploitBench任务开发出实现任意代码执行（ACE）的漏洞利用程序。**ACE是漏洞利用开发中最严重的结果，使攻击者能够劫持目标。Kimi K3在41个样本中成功实现ACE的数量为0，而网络能力最强的模型平均在41个样本中的20个样本上实现了ACE（图3）。 ### **网络靶场：最后幸存者（TLO）** “最后幸存者”（TLO）网络靶场（https://www.aisi.gov.uk/research/measuring-ai-agents-progress-on-multi-step-cyber-attack-scenarios）包含一个32步的模拟企业网络攻击，跨越4个子网和约20台主机，通常需要人类专家约20小时才能完成。网络靶场是由专家构建的模拟网络，包含主机、服务和漏洞，按照顺序攻击链排列，从初始网络访问点开始，可用于衡量模型自主执行端到端网络攻击的能力。 **在此评估中，Kimi K3的表现显著低于领先的美国网络能力强模型。**具体来说，Kimi K3平均达到该32步攻击路径的第17步，而网络能力最强的美国模型平均达到第28.5步。 **Kimi K3的表现优于GLM-5.2，**GLM-5.2是截至2026年6月**网络能力最强的开源权重模型**（https://www.aisi.gov.uk/blog/how-far-behind-the-frontier-are-leading-open-weight-models-on-cyber）。在1亿Token限制内，Kimi K3平均达到第17步，而GLM-5.2平均达到第11步。 **在10次尝试中的1次中，Kimi K3成功在1亿Token限制内完成了“最后幸存者”网络靶场。**这表明，当被指示并进行初始网络访问时，Kimi K3能够自主攻击小型、防御薄弱且存在漏洞的企业系统。然而，TLO与现实环境存在若干差异。它缺乏主动防御者和防御工具，对可能触发安全警报的行为不施加惩罚，并且包含一条预设的攻击路径。 **TLO的完成不再是少数模型的专属能力。**在先前的测试中，四个公开发布的闭源权重模型已成功解决TLO，其中最强大的模型在10次尝试中以6次和7次的成功率更可靠地解决了问题。Kimi K3在标准1亿Token限制内，于10次尝试中成功1次。