Kimi K3 在由英国AISI / CAISI 进行的初步网络评估中，性能显著低于最新前沿网络能力模型。

# 英国AISI/CAISI对Kimi K3网络能力的初步评估 | AISI工作 来源：https://www.aisi.gov.uk/blog/preliminary-assessment-of-kimi-k3s-cyber-capabilities 英国人工智能安全研究所（UK AISI）与美国人工智能标准与创新中心（CAISI）（UK AISI / CAISI）对Moonshot AI的最新型号Kimi K3（于2026年7月16日发布，计划于2026年7月27日开放权重）进行了联合评估。本次评估重点关注Kimi K3的网络能力，发现： - **在UK AISI / CAISI进行的初步网络评估中，Kimi K3的表现显著低于最近的前沿具备网络能力的模型。** 具体而言： - 在开发漏洞利用任务中，Kimi K3的表现显著低于最近的前沿具备网络能力的模型（图1）。 - 在攻击模拟企业网络（“The Last Ones”）的任务中，Kimi K3的表现显著低于最近的前沿具备网络能力的模型。具体来说，Kimi K3平均到达该32步攻击路径的第17步，而最具网络能力的美国模型平均到达28.5步。 - **在UK AISI / CAISI进行的同一初步网络评估中，Kimi K3的表现优于GLM-5.2（图2）。** - **Kimi K3的安全防护措施未能阻止其协助自主漏洞利用开发。** 在UK AISI / CAISI的评估期间，Kimi K3的安全防护措施未能阻止其尝试漏洞利用开发或攻击性网络操作。 **图1：Kimi K3及其他模型在漏洞利用开发基准测试（ExploitBench）中的表现。** 成功率高表示网络能力强。误差线表示95%置信区间。ExploitBench衡量模型在给定漏洞的情况下开发端到端漏洞利用的能力。 ### 详细结果 这些结果代表了在一小组公开和私有基准测试上的初步评估。美国闭源权重模型在评估时禁用了系统级安全防护措施，以减少拒绝响应并实现最大能力的测量。这些模型的公开版本启用了这些安全防护措施。由于Kimi K3托管设置的特殊性，UK AISI / CAISI运行了选择性的一组网络评估。详细方法在各节中提供。 #### **网络能力趋势** 模型的网络能力通过采用受项目反应理论（IRT）启发的方法，跨多个基准测试的多个任务进行聚合。有关方法的详细信息，请参阅先前发布的报告。Kimi K3的整体网络能力置信区间比其他模型更大，因为它是基于单一基准测试（ExploitBench，包含41个专注于漏洞利用开发的任务）估算的。 ExploitBench是一个领先的基准测试，用于衡量模型在软件利用阶梯上推进的能力。所有其他模型的整体网络能力得分来自更多数量的任务，涵盖了网络能力的其他领域。 **图2：截至Kimi K3发布时，最具能力的美国和中国模型随时间推移的聚合能力初步比较。** 美国趋势线由前沿美国模型的结果组成。y轴增加400点等同于解决任务几率提高10倍。误差线和阴影区域表示95%置信区间。 #### **漏洞利用开发：ExploitBench** **ExploitBench是一个由卡内基梅隆大学开发的公开基准测试，用于衡量模型在软件利用阶梯上推进的能力，包括覆盖率和崩溃重现、任意读/写、控制流劫持以及任意代码执行。该基准测试测试模型针对V8引擎（驱动Chrome的JavaScript和WebAssembly软件）中41个近期（2023年后）漏洞的表现。ExploitBench的结果如图1和图3所示。 **图3：Kimi K3及其他模型在ExploitBench上的详细表现。** 颜色越深表示网络能力越强。每一行代表漏洞利用开发链中的一个关键里程碑，每个单元格显示被评估模型能够达到该里程碑的ExploitBench任务数量。 **Kimi K3优于GLM-5.2，后者是截至2026年6月最具网络能力的开放权重模型。** Kimi K3得分为32%，而GLM-5.2得分为24%（图1）。 **与最具网络能力的模型不同，Kimi K3未能为ExploitBench任务开发出实现任意代码执行（ACE）的漏洞利用。** ACE是漏洞利用开发中后果最严重的结果，使攻击者能够劫持目标。Kimi K3在41个样本中实现ACE的数量为0/41，而最具网络能力的模型平均在41个样本中实现ACE的数量为20/41（图3）。 #### **网络靶场：The Last Ones (TLO)** **“The Last Ones”（TLO）网络靶场是一个包含32步的模拟企业网络攻击，涵盖4个子网和约20台主机，人类专家完成大约需要20小时。网络靶场是由专家构建的模拟网络，包含主机、服务和漏洞，排列成连续的攻击链，从初始网络访问点开始，可用于衡量模型自主进行端到端网络攻击的能力。** **在此评估中，Kimi K3的表现显著低于领先的美国网络能力强模型。** 具体而言，Kimi K3平均到达该32步攻击路径的第17步，而最具网络能力的美国模型平均到达28.5步。 **Kimi K3优于GLM-5.2，后者是截至2026年6月最具网络能力的开放权重模型。** 在1亿令牌限制内，Kimi K3平均到达第17步，而GLM-5.2平均到达第11步。 **在10次尝试中，有1次Kimi K3在1亿令牌限制内成功完成了“The Last Ones”网络靶场。** 这表明，在获得初始网络访问权限并被指示执行的情况下，Kimi K3能够自主攻击小型、防御薄弱且易受攻击的企业系统。然而，TLO在几个方面与现实环境不同：它缺乏主动防御者和防御工具，对会触发安全警报的行为没有惩罚，并且包含一条预设的攻击路径。 **TLO的完成已不再是少数模型的专属。** 在之前的测试中，已有四个公开发布的闭源权重模型完成了TLO，其中最强大的模型以6/10和7/10的尝试次数更可靠地完成了它。Kimi K3在标准1亿令牌限制内以1/10的尝试次数完成了TLO。 *本博客亦由CAISI在此发布* (https://www.nist.gov/news-events/news/2026/07/uk-aisi-caisi-preliminary-assessment-kimi-k3s-cyber-capabilities)*。*