AI 与网络安全的未来：为何开放性至关重要

来源：https://huggingface.co/blog/cybersecurity-openness 返回文章 (https://huggingface.co/blog)

Huggy 手持放大镜，背景为从黑到白的渐变。底部白色文字写着“Cybersecurity and Openness“

• 什么是 Mythos？(https://huggingface.co/blog/cybersecurity-openness#what-is-mythos)
• 开放性如何成为结构性优势 (https://huggingface.co/blog/cybersecurity-openness#how-openness-can-be-a-structural-advantage)
• 用开放工具与半自主智能体构建防御 (https://huggingface.co/blog/cybersecurity-openness#building-defenses-with-open-tools-and-semi-autonomous-agents)
• 为何这对高风险组织尤为重要 (https://huggingface.co/blog/cybersecurity-openness#why-this-matters-especially-for-high-stakes-organizations)
• 前进之路 (https://huggingface.co/blog/cybersecurity-openness#the-path-forward)

随着 Mythos 和 Project Glasswing (https://www.anthropic.com/glasswing) 的发布，全球各地的机构正在努力应对网络安全新时代可能到来的前景。在这篇文章中，我们将剖析当前形势，讨论开放性的作用，并将网络安全的未来置于更广阔的 AI 生态系统之中。

https://huggingface.co/blog/cybersecurity-openness#what-is-mythos什么是 Mythos？

Mythos 是一个“前沿 AI 模型“ (https://www-cdn.anthropic.com/08ab9158070959f88f296514c21b7facce6f52bc.pdf)，即一个大型语言模型（LLM），可用于处理软件代码（以及许多其他任务）。这顺应了 LLM 开发的大趋势：LLM 在代码相关任务上的表现最近突飞猛进。Mythos 特别值得关注的地方在于它所嵌入的系统：正是整个系统，而不仅仅是模型本身，使 Mythos 能够快速发现并修复软件漏洞。理解这一区别对于把握当前 AI 网络安全格局至关重要。

Mythos 所展示的是，以下系统级配方具有强大威力：

• 强大的计算能力
• 在海量软件相关数据上训练的模型
• 用于处理软件漏洞探测与修复的脚手架
• 速度（由计算能力及其背后的资本支撑）
• 一定程度的系统自主性

这些要素结合起来，可以发现软件漏洞、寻找漏洞利用方式并构建补丁。真正的益处与风险都蕴含在这个配方中——而非任何一个单一模型里。

这很重要，因为其他人也可以构建类似的系统。较小的模型嵌入到具备深厚安全专长的系统中，可能以更低成本产生类似效果，这对防御而言尤为可期。AI 网络安全能力是参差不齐的 (https://aisle.com/blog/ai-cybersecurity-after-mythos-the-jagged-frontier)：它不会随模型规模或通用基准性能平滑提升。模型所嵌入的系统至关重要。

因此，Mythos 所证明的是，构建一个能够发现并修复软件漏洞的 AI 系统是可能的。我们早已知道这是可能的，相关研究也在不断增加，但我们才刚刚开始探索它在自主 AI 背景下的意义：即能够快速自主采取行动的系统。

https://huggingface.co/blog/cybersecurity-openness#how-openness-can-be-a-structural-advantage开放性如何成为结构性优势

随着能够识别软件漏洞的自主系统日益普及（它们必将如此），开放的代码和工具可以帮助创造公平的竞争环境。软件安全已成为一场涵盖四个阶段的速度竞赛：检测、验证、协调和补丁传播。开放生态将这些阶段分布到整个社区中，而更多闭源项目则将知识和行动集中在单一厂商内部，形成单点故障——只有该组织能看到并修复代码。开放开发的分布式特性能够抵御此类限制，在拥有专业安全人员的社区中尤其强大，例如 Linux 内核安全团队 (https://docs.kernel.org/process/security-bugs.html)、Open Source Security Foundation (https://openssf.org/)，以及 Hugging Face (https://huggingface.co/docs/hub/security) 中从事模型和供应链安全工作的团队。

支持更封闭系统的常见论点是专有模糊性，即系统的底层代码不可访问。遗憾的是，这提供的保护已大不如前。AI 系统越来越能够协助逆向工程剥离后的二进制文件，这很关键，因为大多数遗留固件和嵌入式代码都是闭源的、纯二进制的，且不再维护。这些代码构成了巨大的攻击面，而随着 AI 工具的进步，它们正变得越来越可读、越来越易于访问。

AI 在闭源代码库内部的使用方式也带来了风险。当公司在错误的激励机制下采用 AI 编程工具时（例如，以功能发布量而非代码质量来评估工程师），AI 加速的开发可能在专有代码中引入比传统开发更多的漏洞。这些漏洞随后留在闭源代码库中，只有单一组织能够发现和修复，而 AI 赋能的攻击者却越来越有能力从外部发现它们。漏洞产生得更快、更多，却被困在单一组织的防火墙后——这种组合正是开放生态有望避免的失衡。

这一切的背后是攻击者与防御者之间的能力不对称。开放模型和开放工具通过让防御者获得与攻击者同等的能力来缩小这一差距——这些能力原本可能集中在少数资源充足的实体手中。

https://huggingface.co/blog/cybersecurity-openness#building-defenses-with-open-tools-and-semi-autonomous-agents用开放工具与半自主智能体构建防御

网络安全防御正是开源和 AI 智能体能够共同发挥关键作用的领域。根据系统卡片 (https://www-cdn.anthropic.com/08ab9158070959f88f296514c21b7facce6f52bc.pdf) 的描述，Mythos 似乎能够以接近完全自主的方式运行，这是我们曾建议避免的做法 (https://huggingface.co/papers/2502.02649)，因为存在失控风险。相比之下，半自主的 AI 智能体——其可执行的操作类型是预先指定的，某些步骤需要人工批准——则能在收益与风险之间达到最佳平衡。在半自主系统中，人保持控制，AI 智能体负责特定的子任务。这可以通过组织在其机构内部私有部署的开放代码来实现，允许指定可用的工具、技能和系统访问权限。采用这种设置，AI 智能体可以被部署用于防御性目的，在组织自身的控制下发现漏洞并协助修复。

半自主方法的前提是，人类能够真正理解 AI 智能体做了什么以及为什么这样做。当系统建立在开放组件之上时，例如开放的智能体脚手架、开放的规则引擎，以及可审计的决策日志和追踪，这比黑盒系统要容易得多。只有当人类能够洞察其中时，“人在回路中“才有意义。

企业不必完全从零开始构建这些能力。目前已有丰富的开源安全工具生态，包括漏洞扫描器、入侵检测系统、日志分析器和模糊测试框架，AI 智能体可以与之集成。

https://huggingface.co/blog/cybersecurity-openness#why-this-matters-especially-for-high-stakes-organizations为何这对高风险组织尤为重要

对于高风险组织而言，从开放、可审计的基础出发意味着安全团队能够实际检查其监控机制的工作原理，而非仅仅信任单一厂商的说法。这在涉及敏感数据和流程的场景中尤为重要，因为敏感材料通常不应流经外部 AI 提供商。开放系统可以由内部安全专业人员严格分析，在组织自身的安全数据上进行微调，修改以产生组织特定的监督机制，并完全在组织自身的基础设施内运行，将所有内容置于适当的防火墙之后。

https://huggingface.co/blog/cybersecurity-openness#the-path-forward前进之路

攻击者将开发利用漏洞的模型。重要的应对之策之一是坚持透明实践：开放安全审查、发布威胁模型、共享漏洞数据库，以及任何团队都可以采用的开放工具。每个组织试图用专有工具孤立地保护自身的替代方案，无法与那些在自身社区中协调和共享技术的攻击者相抗衡。

AI 网络安全的未来将更少由任何单一模型塑造，而更多由围绕它们的生态系统决定。开放性为防御者提供了可见性、控制力、社区支持和共享基础设施，使其保持领先。