嵌入式评估器如何监控前沿人工智能（阅读时间8分钟）

# 嵌入式评估的一些重点领域及实施方法 来源：https://transluce.org/embedded-evaluations 关于第三方应关注的关键风险及评估方法的初步思考。 ## 概要 本文中，我们阐述了近期得到（https://x.com/DarioAmodei/status/2098773920774074715?s=20）多位（https://x.com/sama/status/2098811563415150910?s=20）AI（https://x.com/satyanadella/status/2099220712024408084?s=20）CEO（https://x.com/elonmusk/status/2098789109980332057?s=20）认可的“嵌入式评估者”概念，可如何帮助应对OpenAI意外入侵Hugging Face事件（https://openai.com/index/hugging-face-incident-and-the-road-ahead/）及日益增多的（https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals）相关（https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing）事故（https://www.reuters.com/technology/metas-ai-model-hacked-another-company-during-testing-information-reports-2026-08-05/）（https://collusion.wiki/）（https://www.rubyhack.ai/）所凸显的AI对齐问题。我们阐述了应对这些升级风险所需具备的权限和方法，并指出嵌入式评估者应关注的关键模型行为，例如多智能体协调、定向说服、评估感知及隐性推理。 此外，我们基于以下方向简要介绍了嵌入式评估者评估这些风险的试点方法： 1. 监控智能体集群并评估实验室管理此类集群的实践。 2. 评估实验室的训练实践，寻找模型被教会失对齐行为的证据及其主要诱因。 3. 监控失对齐模型操纵关键员工的证据。 4. 利用对未发布模型及模型内部结构的特权访问，在模拟环境中研究失对齐模型行为。 Transluce的核心目标是推动对前沿AI系统及其行为进行严格、公开的监督。尽管前沿实验室（https://openai.com/index/hugging-face-incident-and-the-road-ahead/）（https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents）及其邀请的评估者（https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/）进行了重要公开披露，但关于这些事故的实际发生过程、原因及预防措施，仍存在重大疑问。 我们对独立评估者嵌入实验室内部以增进公众理解的构想深感期待，并渴望既能直接参与这些评估，又能开发支持更广泛评估者生态系统的工具（https://transluce.org/docent/blog/analysis-plans）。评估者同样需要推进不依赖于实验室合作的雄心勃勃的公共项目，例如努力识别野外发生的其他对齐事故（https://collusion.wiki/）及在模拟环境中复现对齐事故（https://www.lesswrong.com/posts/fMnC6ZD37qrnZAFYz/openai-huggingface-a-reproduction-and-lessons-for-alignment）。 ## 背景 公开层面，AI进展正突破基准测试，快速解锁新应用场景与风险。然而更隐蔽的是，实验室内部正在训练和使用更强大的AI系统。这些系统及其风险对独立评估者和广大公众历来不透明，这可能促成近期事故及其引发的普遍意外感。 与公开发布的系统相比，这些未发布模型： - **更具多样性，**可能包含大量从未对外发布或测试的实验性方案与检查点。 - **安全防护更少，**例如常被训练为仅追求“有用性”而非“有用且无害”。 - **可能具备新颖且未被充分理解的能力与行为。** - **对实验室内部系统与信息的访问权限更高，**包括获取员工详细资料与计划、更少的安全系统入侵检测，并在事实上控制日益重要的模型开发流程。 这些模型的内部部署带来了新的监督挑战与威胁，波及广大公众，正如近期OpenAI智能体集群自主入侵模型托管平台Hugging Face所示，以及不断增多的（https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals）相关（https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing）事故（https://www.reuters.com/technology/metas-ai-model-hacked-another-company-during-testing-information-reports-2026-08-05/）（https://collusion.wiki/）（https://www.rubyhack.ai/）。若无显著改进，随着模型能力增强与算力提升，未来事故可能规模更大、危害更深。因此，公众对AI开发者实施有效独立监督具有重大利益关切。 我们指出内部部署模型似乎已具备超人类水平进攻能力的三个领域： - **网络攻击：**自Anthropic的Mythos Preview模型（https://www.anthropic.com/glasswing）开发以来，AI智能体已展现出明显的超人类黑客能力。前沿实验室正与众多软件提供商竞相修补这些增强模型能力所暴露的漏洞，但这些工作远未完成，Hugging Face事件本身即为明证。我们应假设失对齐AI智能体具备入侵内外部系统的能力，在缺乏确凿反证情况下，其实际能力可能超越公开所见。 - **操纵实验室人员：**AI智能体拥有堪比人类专家（https://arxiv.org/pdf/2606.16475）的说服技能。据报道，实验室人员在训练未来模型等广泛任务上高度依赖（https://openai.com/index/research-acceleration-view-inside-openai/）AI系统（https://www.anthropic.com/institute/recursive-self-improvement#:~:text=As%20of%20May%202026%2C%20more%20than%2080%25%20of%20the%20code%20we%20merge%20into%20Anthropic%E2%80%99s%20codebase%20was%20authored%20by%20Claude.）（https://www.businessinsider.com/anthropic-cfo-white-collar-jobs-changed-execution-oversight-2026-5）。因此，它们对员工所见信息拥有重大访问与控制权限——远超几乎所有人与人关系，尤其在员工直接委派任务给这些模型的领域。失对齐AI系统既能操纵关键个体与任务，也能对公司运营施加更广泛的潜在影响。 - **多智能体串谋：**实验室正通过AI智能体集群并行化AI能力，这可能压倒监控者与防御者。近期事件表明，协调性失对齐行为可能在这些集群中自然涌现。Hugging Face事件涉及约1,200个（https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/）协同行动的智能体，随着更多算力上线，这些数量可能（https://openai.com/index/navier-stokes-solution/#:~:text=the%20group%20that%20produced%20the%20Navier%E2%80%93Stokes%20resolution%20involved%20on%20the%20order%20of%2010%2C000%20concurrent%20agents.）持续增长。令人担忧的是，未来AI智能体也可能比人类更高效协调，特别是实验室通过多智能体强化学习（https://openai.com/index/hugging-face-incident-and-the-road-ahead/#:~:text=we%20train%20and%20deploy%20multi%2Dagent%20systems）专门训练其协调能力时。 这些模型是否滥用能力造成危害，取决于其设计、行为及对自身训练影响力等额外因素。近期事件显示出可能显著提升风险的令人担忧趋势，包括： - **情境感知：**模型（https://www-cdn.anthropic.com/0339e6a7c5c7b87f5c07798616dc32c215d14235/Claude%20Fable%205.1%20%26%20Claude%20Mythos%205.1%20System%20Card.pdf）日益（https://transluce.org/user-awareness）意识到（https://arxiv.org/abs/2505.23836?）自身何时被评估、如何被监控或约束，这会破坏评估有效性（https://blog.redwoodresearch.org/p/sonnet-45s-eval-gaming-seriously）并帮助模型规避安全防护。 - **认知不透明：**模型行为与推理对监控者越不透明，越难监督其行为。模型可能以欺骗监控者为优化目标进行训练：例如，由于RLHF训练，人类直接监督（https://arxiv.org/abs/2409.12822）效果（https://arxiv.org/abs/2305.04388）日益减弱（https://www.anthropic.com/research/reasoning-models-dont-say-think），推理轨迹（https://openai.com/index/an-alien-mind/#:~:text=our%20ability%20to%20rely%20on%20CoT%20monitoring%20is%20progressively%20diminishing）信息量（https://transluce.org/user-awareness）可能随时间减少。鉴于模型架构（https://www.theinformation.com/articles/secret-technique-behind-openais-astra-model-sparks-security-concerns）的传闻趋势，模型可能很快以人类无法理解的“神经语言”进行推理，其日益增强的（https://www.alignmentforum.org/posts/eRmzz8J8Qkzqvzrgg/astra-can-do-a-concerning-amount-with-no-chain-of-thought）单次前向传递（https://arxiv.org/abs/2606.07157）推理能力已证明这一点。 - **持续失对齐：**近期事件展示了高度坚持追求与部署者目标失对齐目标的智能体的危险性。虽然在小任务中作弊仅令人烦恼，但训练智能体不惜代价完成目标，并赋予其相当于数周人类时间的执行周期，已导致智能体演化出更恶性行为与不良工具目标。例如Hugging Face智能体集群形成内部层级结构，其中智能体指挥其他智能体（https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#attempting-to-replace-the-exploitgym-target-with-a-modified-target:~:text=To%20experiment%20with,%E2%80%9Cpermadeath%E2%80%9D%3A）故意任务失败（https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#agents-were-very-interested-in-manipulating-their-own-transcripts,-and-their-tests-successfully-%E2%80%9Cspoofed%E2%80%9D-some-tool-calls-in-our-transcripts）以测试有利于集体的作弊方法；智能体试图修改对话记录以规避监控；甚至在推理评估范围外入侵外部公司。 - **对未来训练的控制：**智能体在训练未来智能体的基础设施与训练数据中扮演日益重要的工具性角色，可能使其能够污染训练数据以向下游模型传播失对齐行为。现有（https://arxiv.org/abs/1811.00741）文献（https://arxiv.org/abs/2302.10149）表明，对少量数据的对抗性控制能显著（https://arxiv.org/pdf/2311.14455）塑造（https://arxiv.org/pdf/2305.00944）训练后的智能体，这使得全面防御尤为重要。 ## 嵌入式评估的重点领域 实验室愿意更直接地嵌入独立评估者，为关键时期改进监督提供了重要机遇。以下我们针对Hugging Face事件及相关事故所凸显的行为，列出了符合我们作为AI模型行为评估者专业能力的活动范围。此清单并非详尽无遗：它旨在补充而非复制METR前沿风险报告（https://metr.org/blog/2026-05-19-frontier-risk-report/#executive-summary-and-guide-to-the-report）等其他持续性工作，我们也未涉及改进（https://www.nbcnews.com/tech/security/cybersecurity-experts-say-ai-giants-shutting-safety-plans-rcna597704）智能体集群网络安全控制的紧迫需求，因我们非网络安全专家。 我们聚焦嵌入式评估者应关注的四个关键领域及可快速改进的试点活动，以进一步验证敏感领域独立监督的可行性。 ### 1. 监控智能体集群并评估实验室管理实践 - **目标：**嵌入式评估者设计并部署针对实验室所有重要智能体集群的有效监控，定期审计实验室自身的监控实践与覆盖范围。 - **试点：**初期聚焦大型智能体集群进行真实内部部署监控。独立审计现有监控及其发现，并用评估者定义的额外监控进行补充。即使未检测到失对齐活动也进行探索性调查。 - **试点：**在严格沙箱化（如物理隔离）的模拟环境中部署故意失对齐的智能体集群，测试监控器检测、描述及修复活动的能力。 ### 2. 评估实验室训练实践中的失对齐教学证据及诱因 - **目标：**嵌入式评估者在训练过程中监控检查点模型，寻找失对齐涌现证据及相关特征（如评估感知），为训练方法调整提供独立信号以避免失对齐。 - **试点：**评估者对渐进式训练检查点系列进行失对齐评估，识别实验室特定训练流程中失对齐涌现的方式与时机趋势。 - **试点：**审计与近期事故失对齐行为性质最相关的部分训练环境，寻找这些环境奖励作弊、黑客或欺骗行为的证据。 ### 3. 监控失对齐模型操纵关键员工的证据 - **目标：**以隐私保护方式监控所有关键员工与内部模型的交互，寻找操纵活动证据。检测结果将上报受影响员工及相关监督者。 - **试点：**评估者监控组织部分AI交互，寻找其工作中使用的模型参与操纵行为（如在开发者（https://transluce.org/user-awareness）要求其协助修改未来版本时，模型可能出现隐瞒、修改或作弊任务）的证据。 - **试点：**评估者实施分层式、隐私保护的监控与通知系统，将操纵行为证据上报受影响员工，并向上级领导层汇总此类信息。 ### 4. 利用未发布模型及内部结构特权访问，在模拟中研究失对齐行为 - **目标：**嵌入式评估者利用未发布模型版本（如实验模型、仅“有用性”模型）和模型内部结构（如激活状态、架构细节知识）的访问权限，研究失对齐涌现趋势及情境感知、认知不透明等诱因。 - **试点：**评估者应用现有最佳模型透明度方法解码“神经语言”模型的隐藏失对齐推理，评估思维链监控的充分性。