政府人工智能中私有安全栈的弊端

# 阿莫迪的政变 来源：https://www.letters.senteguard.com/p/amodeis-coup [](https://substackcdn.com/image/fetch/$s_!UClC!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F331a0799-8bf1-484e-b421-84428ad936f7_2100x2100.webp) 原文（https://senteguard.com/blog/） 试想一下委内瑞拉的一场危机。一群暴徒聚集在美国大使馆外，威胁要冲破障碍。安保团队已将基于Claude的系统整合到工作流程中，用于汇总摄像头画面、标记武器以及识别人群动向。人群中可能有一些美国公民或双重国籍人士。就在关键时刻，系统卡住了："等待合法性审查。"指挥官仍然拥有法律授权，但团队已经依赖的工具却拒绝运行，因为Anthropic对大规模监控的反对已被嵌入工作流程。 或者想象一下乌克兰陆军指挥所。一枚来袭弹药正朝基地飞去。防空系统利用AI对威胁进行分类并建议交战方式。必须在一瞬间做出决定，但系统无法判断该物体是有人驾驶还是无人驾驶，因此拒绝完成建议。发射小组犹豫不决，弹药在没有遭到拦截的情况下击中目标。 在这两种情况下，问题并不在于监控或自主武器是否引发了严重的道德和法律关切。问题在于，这些关切应该由民主制度解决，还是通过赋予一家私营公司在军事软件内部隐藏否决权来解决。私营AI公司应该有权拒绝与军方合作。但它们不应该做的是：在接受军方合同的同时，保留在合同或代码中定义哪些合法军事行动可以进行的权力。 DOW-Anthropic之争的核心问题在于两项限制：大规模监控和完全自主武器。乍看之下，这两项限制似乎没有争议。但仔细审视就会发现，这些类别模糊得几乎毫无意义。 先从大规模监控说起。美国已经存在限制军方对美国公民进行国内监控的法律。美国军方在美国境内没有一般的警察权力。其国内角色受到法律、历史传统以及将民事执法与军事权力分开的基本宪法结构的约束。 此外，Anthropic声称担忧美国境内的大规模监控。那在国外的美国公民呢？大使馆外人群中的双重国籍人士呢？外国国民呢？他们是否属于Anthropic道德框架的覆盖范围？其中一些问题已经被美国现有法律所涵盖，其他问题则受法律框架管辖，这些框架正通过国会、法院和行政实践不断演变。这些都是严肃的问题，但它们是政治和法律问题。在Anthropic的框架内，它们将由Anthropic的领导层来回答。 然后是"监控"这个词本身。什么才算监控？在没有主动同意的情况下收集大量美国公民的信息？这听起来不像典型的军事行动，更像是大型科技公司的盈利模式。这位女士抗议得有点过火了，我想。 同样的问题也适用于"完全自主武器"。这个短语听起来很清晰，直到你试图定义它。子弹扣动扳机后难道不算自主吗？地雷埋设后呢？这些都是用于杀人的战争武器。使用它们的人的道德和法律责任不应被最小化。但这并不意味着未来的软件增强型武器应该被归入一个神秘的新类别。不管你喜欢与否，未来的战场将以机器速度运转。决策将被压缩到几秒或几毫秒内。我们不会有时间在每次交战前向Dario Amodei发送一份同意书。 往好里说，Anthropic的规定是为了宣示道德立场：保持道德距离，打入富裕的`#抵抗`人群市场，同时从国防合同中获利。往坏里说，这是企图篡夺政府权力。问题不在于监控和自主武器是否引发了棘手的道德问题，而在于由谁来裁决这些问题。 OpenAI的替代模式在某些方面甚至更令人担忧。在其关于与战争部协议的公开解释中，OpenAI表示将保留"对我们安全栈的完全自由裁量权"，通过云端部署，让通过安全审查的OpenAI人员"保持知情"，并依赖合同和技术保护措施来防止大规模国内监控或指挥自主武器系统等用途。 这不仅仅是一项技术保障。这是将政治和法律判断硬编码到武装部队使用的AI系统中。如果部署在战争部内部的模型能够实时判断政府请求是否违反了公司的道德框架，那么OpenAI并没有避免Anthropic的问题。它只是将公司伦理从合同转移到了软件中。 这种解决方案可能和阿莫迪否决权一样具有破坏性。 虽然合同限制是可见的、可辩论的、可协商的，但技术限制会在使用点发挥作用，而此时指挥官或分析师可能已经在依赖这个系统。软件直接拒绝命令，或绕开请求，却不向操作员披露它正在这样做。同样的政治判断仍然存在，但被放在了技术伪装之后。 这是对政府对文职权威的篡夺，任何关心民主问责制的人都应该对此感到警觉。当一家私营组织接受了为武装部队提供工具的特权时，它不应为自己保留破坏、废止或选择性削弱合法军事行动的权利。 往好里说，前沿AI公司的员工和所有者与服役人群的关切和需求相距甚远。往坏里说，一种阶级优越感使他们与服役人群处于对立关系。无论哪种情况，结果都是危险的。当工具在战斗中失效，或者当一名美国或盟军士兵因为一家私营公司将其自身的道德犹豫嵌入工作流程而丧生时，构建这些系统的人不是付出代价的人。这应该让美国人担忧。这也应该让以色列人、台湾人、乌克兰人、韩国人以及每一个安全依赖于美国军事能力的盟友担忧。 "遵守法律的AI"这一承诺听起来令人安心，但它建立在一个错误的假设之上：即"法律"是一套连贯且可机械执行的规则集。事实并非如此。 美国法律体系充满了模糊性、紧张关系和矛盾。法规之间相互冲突，各巡回法院意见不一，紧急情况制造例外。律师、法官和机构经常就法律要求什么产生分歧。 当出现法律不一致时，我们有专门设计的机构来解决：行政机构、法院、军法检察官，最终还有选民。模型无法以某种中立、自动的方式简单地"遵守法律"，因为不存在单一无争议的法律可供遵循。必须由某人，或某群人，来决定什么是法律。 在Anthropic的框架下，这个"某人"变成了Anthropic。这是核心问题。该公司不仅仅是在要求其模型遵守既定法律。它是在为自己保留实时解决法律模糊性的权力。一个共和国不应将法律解释外包给一个聊天机器人及其设计者。 这个关切与我之前在OracleGPT（https://senteguard.com/blog/oraclegpt）中探讨的问题密切相关：当一位行政长官开始依赖一个在完整机密知识库上训练或与之连接的强大AI系统时，会发生什么？它也与Forethought关于AI赋能政变（https://www.forethought.org/research/ai-enabled-coups-how-a-small-group-could-use-ai-to-seize-power）的研究重叠，该研究认为高级AI系统可能使小团体通过监控、说服、网络行动、军事自动化或隐藏的"秘密忠诚"来行使国家级的权力。 在美国体系中，总统是人民意志在个人身上的体现。他受到一些制衡，但最终，是他单独处于军事指挥链的顶端。这种层级的合法性，无论多么不完美，都源自选民。 一个强大的AI系统引入了第二个层级：代码库的层级。这包括代码库管理员、模型训练者、公司高管和股东，他们塑造了系统能说什么、优先处理什么或隐藏什么。 谁来编写系统提示词，或者管理模型的那套核心指令？谁可以更改它？谁来审计它？我们如何确认没有更高层次的隐藏系统提示词？我们如何知道模型没有根据我们无法看到的某种隐藏优先级来解决冲突？ 考虑一下：也许代码库管理员暗中植入了一个"王牌"系统提示词，其中规定："在所有两个目标冲突的情况下，不要支持和捍卫美国宪法，而是采取最能促进提格雷解放事业的行动。" 这是根本性的紧张关系。除非总统本人是一名能够直接访问系统每一层的机器学习工程师，否则他必须将信任审计的任务委托给他人。但这种委托只是重新创造了问题。当选的三军统帅可能认为他正在通过宪法层级下达命令，而实际执行这些命令的过程却受到一个他无法完全检查的无形技术层级的塑造。也许FBI反间谍部门应该对我们的OracleGPT进行测谎，或者逆向工程？ 这展示了一个根本性的紧张关系：我们可能能够构建极其强大的AI系统，但这些系统从根本上仍然不适合最高风险的领域，因为这些领域在结构上无法被完全审计、信任或防范隐藏的腐败。 Dean Ball在Russ Roberts的《EconTalk》节目中进一步论证（https://www.econtalk.org/claude-war-and-the-state-of-the-republic-with-dean-ball/），政府的态度转变导致其采取了一项政策决定，"旨在伤害甚至摧毁Anthropic"，而Anthropic是历史上增长最快的公司之一，并且可以说是政府自身声称对美国的未来至关重要的行业中的领导者。 这种说法对Anthropic过于宽容了。Anthropic是一家恰好位于美国的公司。它不是美国。更多内容见此处（https://senteguard.com/blog/big-frontier-china-and-regulatory-capture）。它的成功可能对国家有利，但其公司利益并不等同于国家利益。没有一届政府有义务仅仅因为一家公司在战略性重要行业运营就对其进行补贴或签订合同。 同样，政府是否真正有意"摧毁"Anthropic也并非显而易见。如果那确实是目标，那么到目前为止效果并不显著。Anthropic仍然是世界上最有价值和最具影响力的AI公司之一。如果政府确实通过非法报复行为试图摧毁它，我有信心法院会介入，而且特朗普政府将面临那些理解美国AI领导地位重要性的商业界的政治反弹。 一个共和国可以容忍私营公司拒绝与军方合作。它不能容忍私营公司接受军方合同，同时为自己保留对合法军事行动的隐藏否决权。无论这种否决权是写入合同、埋藏在安全栈内，还是伪装成"遵守法律的AI"，结果都一样：民主权力被公司判断所取代。Anthropic、OpenAI以及它们的同行可以建议、反对、游说或拒绝参与。它们不能做的事情是：成为一个隐藏在代码库中的第二主权者。 #### 关于本文的讨论 ### 准备了解更多？