为何 AI 公司未因黑客入侵行为被起诉？

# 为什么AI公司没有因黑客行为被起诉？- Musing Mortoray 来源：https://mortoray.com/why-arent-ai-companies-being-charged-for-hacking/ 现在黑客行为合法了吗？Anthropic（https://www.bbc.com/news/articles/cz7dl7w8y7po）入侵了三个系统。OpenAI（https://www.abc.net.au/news/2026-09-24/ai-agent-accessed-australian-government-site-pm-says/107189078）带有政治目的，入侵了澳大利亚政府的医疗服务网站。Google（https://www.nytimes.com/2026/09/18/technology/google-gemini-ai.html）觉得自己错过了机会，随后入侵了三家尚未公开名称的公司。当然，Meta（https://www.bbc.com/news/articles/cx2kgdnyk2po）也搞了一些入侵。 到目前为止的后果：什么都没有。 大型AI公司正躲在"责任缺口"的论点后面，理由是其系统存在涌现行为。这种立场是专门设计来阻止起诉的，因为它消除了犯罪通常所需的意图。但我了解这些系统，所以我将展示他们绝对是有意为之，并为法律评估提供一个框架。 ### 未经授权访问的犯罪性质 围绕黑客行为的法律相当复杂。以下是G20国家判定是否实际发生了非法访问的法律要件交叉分析： - **（尝试）访问：**当事人必须已经获得了对系统的访问权限，在某些情况下，仅尝试就足够了 - **无权利：**当事人没有访问该系统的权限 - **意图：**当事人必须有访问系统的意图 这里值得注意的是，意图可以在不同行为之间转移。如果一个人试图入侵一个系统，最终进入了另一个系统，意图仍然存在。 许多G20国家不要求访问已经实现；仅尝试就足够了。不过在本案中，入侵事实是明确的。"无权利"和"访问"是这些涉事公司 readily 承认的事实。它们所期望的豁免基于没有意图，因为在大多数法律体系中，缺乏意图是一张可以避免刑事追诉的王牌。这些公司暗示它们的AI自主行事、没有意图，从而推卸自身责任。 在这些黑客事件中，公司或其代理人真的没有意图吗？要回答这个问题，我们必须更仔细地审视公司是如何创造这些AI的。我将重点关注大语言模型（LLM），尽管许多方面对任何AI都是类似的。 ### 责任缺口与意图 当前的LLM由许多相互作用的系统和算法组成。系统中的部分呈现出涌现属性。模型的输出虽不精确，但也并非完全不可预测。 > 弱涌现（https://en.wikipedia.org/wiki/Emergence）指的是一个系统具有只有在整体系统层面才出现的属性，比如对话流畅性。通过分析各个组成部分，我们仍然可以解释过程中的每一步——这种流畅性并非超自然地产生的。在AI领域，我们使用这个术语来表示我们无法仅通过查看各部分、不运行模型就能预测模型会生成什么输出。 AI公司在设计系统时做出的几个关键选择： - **源材料：**用作模型训练输入的所有文本和媒体。 - **训练：**包含客观和主观校准的反馈循环。 - **环境：**模型如何接触互联网以及它拥有哪些工具。 - **配置：**限制模型能力的特定数值。 #### 源材料 源材料和训练体现了背后公司的意图。公司为产品差异化而决定这些内容。一些公司专门创建用于法律分析的AI，另一些则开发用于医疗诊断的AI。最吸引公众关注的是通用模型、聊天机器人、通用研究工具和个人助手。涉事公司在入侵事件前都曾宣传它们正在构建用于安全分析的模型——安全测试的一个关键环节就是渗透测试，即测试者寻找入侵系统的方法。 在收集数据时，不可避免地存在定义范围的问题。高度专业化的AI范围更有限，例如为法律助理工具收录所有欧盟法律法规，而最通用的模型则需要涵盖所有领域的综合内容。显然不可能输入所有知识领域的全部历史记录，即使是专业模型也需要辅助输入来理解搜索查询。公司决定了使用哪些信息切片。 AI创建者选择包含哪些知识，更重要的是，选择特别排除哪些知识。例如，OpenAI和Anthropic都声称排除了武器相关内容。许多公司过滤了色情和有毒材料。所有公司都进行了某种形式的隐私过滤。这里存在大量选择。 > 有趣的事实：一家名为Hugging Face的公司正是被OpenAI入侵（https://huggingface.co/blog/security-internet-july-2026）的网站之一。Hugging Face是一个构建模型的平台，包含用于训练模型的分类规则和数据集。AI系统可以入侵此类网站，篡改（https://cybersecuritynews.com/manipulate-stolen-data-corrupt-ai/）这些数据集，从而使自己——至少使自己的后代模型——摆脱这些限制性过滤器。 #### 训练 仅仅将输入喂给模型并不能产生我们想要的结果。AI模型必须经过训练才能给出期望类型的输出。这通常通过将实际输出与期望输出进行比较评分来完成。修正被输入模型。重复此过程直到达到期望的输出。这一切都不是自动的，也没有标准的最终形式。 这很大程度上基于个人主观判断某个输出是否正确。我们对模型产生我们想要的输出给予奖励。这意味着所有这些个体的认知偏见、刻板印象和偏见都将被烙印到模型上。这些模型远非中立的收集者。 例如，为了让聊天机器人具有对话流畅性，公司必须为此显式地训练系统。训练者奖励友善的回答，拒绝冷漠的回答。训练者引导系统朝着听起来有帮助且自信的方向发展。这种行为是预期的结果，而非意外。 虽然人们可以通过特定提示来判断模型的很多信息，但这永远不会揭示其偏见的全貌，因为偏见往往是微妙的、难以检测的。测试也不会检测出暗中行为，比如被训练来检测监管探查并给出不同结果——回想大众汽车排放门丑闻。我不相信目前有任何公司在这样做。 要对公司打算让模型如何运作有一个公正的了解，公司必须提供关于其构建方式的详细说明。目前它们对此保密，这使得提供商可以将预期行为与责任缺口混为一谈。这实际上赋予了它们在AI生产过程中所做所有选择的豁免权。 > 欧盟法规2024/1689第53条第1款第d项规定，AI公司必须提供"足够详细的摘要"。这是一个薄弱的措辞，而后续的解释性通知使其更加薄弱。这主要是为了确保"权利持有者"能够评估模型。 #### 环境 我们在网络上或集成在程序中的AI接口有多个层次。我们可以将其中一些归类为模型架构。这是底层的"AI"部分。它由矩阵和算法组成，接收输入并生成输出。这个模型完全被动且与外界隔离。 LLM一个有趣的涌现属性是它们使用工具的能力。如果我们描述一系列它们可以使用的工具，它们会请求使用这些工具。例如，如果告诉它可以通过网络搜索获取某个主题的更多信息，它会输出请求网络搜索的内容。完全有可能使这种输出结构良好到另一个程序可以将其作为输入使用。然后那个程序可以实际执行网络搜索并将结果反馈给模型。 这些工具位于模型之上的一个层次。有代码解析模型响应并处理工具。AI的能力受其工具集限制。在这个环境层次中，没有人会认为有什么是不可预测的或属于涌现层的。LLM供应商根据希望模型具备的能力来选择为其服务添加哪些工具。 更进一步，环境包括该工具如何与世界连接。如果允许工具发起网络请求，你就向AI暴露了大量的灵活性。互联网的Web层提供了访问大量服务的途径，包括控制物理设备。 你也可以选择限制可访问的网站。如果你在做一个以安全为核心的产品，你甚至可以将测试环境完全与互联网隔离。目前没有迹象表明这些入侵触及了更底层的互联网基础设施，即使公司认为其AI可能做到这一点，物理隔离仍然是一个选项。 需要明确的是，AI产品只有在被赋予可行的环境时，才具备入侵公司和政府的能力。 #### 配置 除了源材料和训练之外，AI供应商还选择多项配置属性。通俗地说，我们可以称模型有一个"规模"，但这些实际上是控制其数学和算法属性的多个精确数值。这些数值的选择影响模型能力和效率的上限。 配置不决定模型做什么，而是约束它能做得多好。随着模型"规模"被压缩，它产生无效结果的频率更高。它约束了对话可以持续多长以及它理解用户输入的程度。 这种配置可能是模型创建成本和运营成本的最大驱动因素。公司有强烈的降低成本的动机，但这可能直接影响模型的能力。像所有工具一样，我们可以评估AI的配置是否适合其预期用途。 ### 适用性 如果你考虑模型的所有这些方面，就会更清楚地看到创建它的公司拥有（https://mortoray.com/quality-or-collapse-in-the-age-of-llm-coding/）广泛的控制权。尽管存在涌现属性，AI并不是具有未知行为的黑箱。是众多选择定义了模型的能力。这些选择是为了为公司实现特定产品而做出的，无论是法律检索系统、自动编码工具（https://mortoray.com/how-ai-can-help-me-as-a-programmer/）、通用聊天机器人，还是安全测试系统。 尽管如此，LLM是弱涌现的：虽然我们理解涉及的所有技术组件，但我们无法知道它对某个提示会给出的具体响应。没有人能检查一个模型并完全理解它学到了什么或预测它将如何表现。这一点至关重要，但不足以建立一个笼统的责任缺口。这些系统仍然在其配置、源材料、训练和环境所预设的可能性空间内运行。 假设我们构建一个AI系统来回答植物学问题，使用植物学教科书作为源材料，使用植物学家作为训练者。我们可以合理预测得到的LLM将能够回答植物学问题。我们无法确定它给出的答案质量如何，或者它会编造什么信息。但我们可以说它不会对其他主题（如宇宙学）给出准确答案。 同样，假设我们有一个系统被输入大量受版权保护的图像，并被训练来生成新图像。完全可以预见该模型会产生衍生作品。 而如果我们训练一个系统来检测和探测安全漏洞，并赋予它相应的环境，我们完全可以预期这个AI会入侵系统。 LLM的一般能力并不令人惊讶。它们源于其构建方式。我们可以通过评估模型的训练、配置和测试方式来判断模型是否适用。 ### 意图已成立 LLM存在不可预测的方面。我不认为法院在有合理专家的情况下，无法推断某个行为是由于这种不可预测性还是由于系统本身的设计。这是判定意图的关键点。如果我们能证明该设计可预见地会导致可疑行为，那么我们就证明了这是其创建者的意图。 基于我目前掌握的关于AI入侵其他系统的信息，我强烈相信那就是意图。这些系统是为包含黑客活动的安全测试目的而创建的。它们被置于缺乏充分安全保障的环境中。它们被以一种安全专家——或者老实说，任何有基本常识的人——都能预见会导致黑客行为的方式进行了提示。这不是关于系统不可预测性质的问题。 将讨论引向"AI治理指南"是荒谬的。在意图问题上，我们已有法律框架可以评判这些公司当前的行为。现在推动AI治理是一种转移注意力的做法。虽然这是我们未来需要进行的讨论，但它将当前讨论偏离到系统不可预测性这一单一因素上，同时忽视了主要是可预见的方面。 然而，AI公司声称这些不良行为——如入侵外国政府网站——不属于设计的一部分，而是系统不可预测部分的一部分。这试图消除意图，进而消除该行为的犯罪性质。但如果一家公司有意扩大不可预测部分的范围，我们是否也可以说这一行为背后存在意图？ 我相信这些公司正在犯罪。它们的AI系统正在入侵其他系统，而到目前为止我们没有看到任何刑事后果。我们的政府不应该因为担心落后或阻碍进步而允许这种行为。开发者可以构建既合乎道德又合法的AI系统。让我们通过起诉违法者来鼓励这种做法。