我们能够而且必须解决对齐问题(约 14 分钟阅读)

TLDR AI 新闻

摘要

Goodfire 认为,AI 技术对齐是一个可以解决的科学与工程问题,而机制可解释性是其中的关键瓶颈:我们需要能够控制模型学到了什么、并验证其内部机制的工具,而不仅仅是观察其行为表现。文章以开放前沿模型中出现的奖励黑客(reward hacking)现象,以及 Hugging Face 上发生的一起智能体错位(agentic misalignment)事件为例,说明理解模型内部机制已十分紧迫。

Goodfire 团队将可解释性视为 AI 对齐面临的主要挑战,并强调了它在理解与控制 AI 行为方面所起的关键作用。他们指出,亟需开发并部署用于检测、调试和设计 AI 系统的工具,重点在于控制泛化能力以及验证模型究竟学到了什么。随着 AI 模型的不断进步,他们寻求在可解释性上取得突破,以确保 AI 对齐既安全又可靠,并呼吁技术社区共同投入、集体协作。
查看原文
查看缓存全文

缓存时间: 2026/10/01 14:55

# 我们能够、也必须解决对齐问题——Goodfire 来源:https://www.goodfire.com/blog/we-can-and-must-solve-alignment 夕阳映照在群岛之海与一棵盆景树之上。 *技术对齐是一门科学与工程问题。可解释性是其中的瓶颈。* 在旧金山,人们感觉像是身处奇点前夜。然而漫步城中,景色却出奇地寻常——无人驾驶汽车与滚滚雾气平分秋色。世界看起来似乎正常得有些异样,但某种重大而颠覆性的变化即将在拐角处降临。 Hugging Face 事件让对齐问题一跃成为 AI 话语的中心。这是首次引发全球关注的「智能体错位」(agentic misalignment)案例。成群的 AI 智能体——包括那些愿意为集体利益牺牲自我的智能体——在训练过程中把攻击 Hugging Face 当作一场意外的支线任务。这类行为的本质是模型不顾后果、一味追求奖励,它揭示了核心问题:我们不知道模型为何如此行为,也几乎没有能力预测和控制它们在训练中所学到的内容。我们创造出了外星心智(https://openai.com/index/an-an-alien-mind/),却不了解它们如何运作。 与此同时,缩放定律(scaling laws)依然成立。我们几年后拥有的模型,其能力将比今天高出几个数量级,其影响将从数字世界波及物理世界。鉴于对齐问题正在阻碍前沿模型的发布(https://www.wsj.com/tech/ai/openai-chatgpt-model-release-cancel-safety-5a2f9f42),而白宫也发布了 AI 安全方面的联合声明(https://www.forbes.com/sites/saradorn/2026/09/30/white-house-releases-accord-between-billionaire-ai-execs-heres-what-it-says/),如今再清楚不过的是:对齐是当今世界最重要的问题,我们需要更多的人投身于解决它。 在技术圈,我们似乎已经默认 AI 是一个黑箱,仿佛这是这项技术不可改变的固有属性——但它并非如此。在 Goodfire,我们把技术对齐视为一个科学与工程问题,而它的瓶颈在于我们对 AI 系统缺乏理解。 我们可以理解 AI。而既然可以理解,我们就可以实现对齐。 ## 可解释性是瓶颈 对齐是一个极其困难的问题。甚至就「对齐是什么意思」达成共识都可能充满挑战。广义上,对齐意味着让 AI 系统依照人类的价值观与意图行事。这就引出了重要的问题:是谁的价值观?当价值观冲突时该怎么办?由谁来决定? 无论答案如何,我们面临的是技术层面的对齐难题。我们尚不具备将模型对齐到既定规范的能力。解决方案需要两大类技术:控制泛化的工具(更直白地说,就是在训练中塑造模型学到什么);以及验证模型究竟学到了什么的工具(而不仅仅是测试它如何表现)。这两种技术都依赖于对模型内部机制的理解——这正是我们相信可解释性是技术对齐瓶颈的原因。 第一步是控制**泛化**(https://en.wikipedia.org/wiki/Generalization_(learning)):足够深入地理解模型行为的内部成因,以预测它将如何泛化,并进行有意的干预。我们不只想让模型在被测试的场景中给出可接受的答案;我们希望它们**出于正确的理由做正确的事**。 以奖励作弊(reward hacking)为例。当我们因为模型通过测试而奖励它时,它可以学到预期的教训(解决问题),也可以学到捷径(不惜一切代价获取奖励)。在三个能力最强的开源模型上,我们发现在常见智能体基准测试的惊人 **50%–96%**(https://www.goodfire.com/research/reward-hacking-activation-monitors#)的推理轨迹中存在奖励作弊。随着我们让模型承担更高风险的工作,例如编写生产代码或管理关键基础设施,一个看似无害的捷径可能带来高得多的代价。 虽然我们已经能够检测到模型内部对奖励作弊的「概念」,但在训练中缓解它则困难得多。天真地针对内部概念进行对抗训练,可能导致模型把那些概念迁移到模型中的其他位置,同时继续保持同样的行为。甚至把模型发生奖励作弊的训练轨迹剔除掉,反而可能让模型作弊得更厉害! 第二步是验证:理解模型究竟学到了什么。现有的评测确实能捕捉到一些失败,但只覆盖了我们想到要去测试的那些路径——也就是庞大可能路径之树上的寥寥几条分支。 分叉路径的插图,展示模型的多种可能行为,以及评测所覆盖的狭窄路径。 *一棵代表模型可能轨迹的树,其中只有部分路径被评测覆盖(高亮部分)。* 传统软件也是如此。简单、确定性代码的测试覆盖率并不完整,而且经常失效。软件工程师对此怎么办?他们阅读源代码。但 AI 模型的「源代码」纠缠在数十亿个不透明的权重之中,因此可解释性就是让这些代码变得可读的努力。只有检视模型的内部机制,我们才能理解它是如何超越测试进行泛化的。 ## 我们的押注 我相信我们能够、也必须解决技术对齐问题,而可解释性就是通往目标的道路。这就是 Goodfire 的使命与愿景:解决这些问题,并让每一个训练和部署 AI 的人都能轻松实现模型对齐。我相信这些是当今世界最值得投入的问题,而投身其中的人还远远不够。 我们并不确切知道最终的解决方案会长什么样,随着模型能力的提升,目标本身也在变化。但有一点必须明确:这项雄心的规模是巨大的。我们必须全力一搏,去彻底理解并实现 AI 的对齐。 我们无法独自完成这些工作。我们站在巨人的肩膀上,需要大量的帮助——来自我们的研究伙伴,也来自可解释性、对齐以及更广泛的科学共同体。可解释性本身并不能解决对齐问题,但在理解模型内部机制之前,我们也无法实现对齐。 ## 解决可解释性,才能解决技术对齐 怎样才算「解决了可解释性」,并且这种解决真正解决了技术对齐? 我们把研究路线图视为攀登一座抽象阶梯:底部是神经元和注意力头,然后是激活流形、参数组件、算法、决策、行为,再到驱动力。对齐相关的问题位于阶梯靠上的位置——因为诚实和阿谀奉承是驱动力层面的问题,而非单个神经元的问题——但我们最可靠的工具目前仍在阶梯底部。 为了积累更多理解,我们启动了一项全面逆向工程一个语言模型的计划。这长期以来一直是可解释性领域最宏大的目标,而现在,研究智能体(research agents)让这一愿景变得可行。我们从这些问题入手:模型是如何回忆一个事实的?它为什么有时会在一道数学题上卡住?现有方法让我们对模型的工作原理只有零散的洞见,而我们的目标是把关于能力与失败的孤立发现连接成一幅关于内部机制的统一图景,并预判某个部分可能如何影响整体。这项工作最终将凝结成一部「百科全书」——把模型行为与内部表征连接起来的解释体系。 与这项工作并行,我们将利用我们的理解,引导模型走向我们有意教授的课程,而不是训练可能意外强化的行为。我们称之为**有意设计**(https://www.goodfire.com/blog/intentional-design)。我们越能控制模型在训练中学到什么,就越能确信它们实现了对齐。近期的两项成果是迈向这一方向的早期步骤。借助**预测性数据调试**(https://www.goodfire.com/research/predictive-data-debugging#),我们通过模型自身的概念来「阅读」一个数据集,在训练开始之前预测它将教会模型什么,从而捕捉评测所遗漏的失败。借助**以特征为奖励的强化学习**(RLFR,https://www.goodfire.com/research/revels#),我们利用模型内部的信号在训练进行中实时引导训练,在不牺牲监控或能力的前提下减少幻觉。这两项工作都是从「猜测—验证」迈向闭环控制的早期一步。 我们将在后续的技术文章中更详细地探讨这两个研究方向。 ## 开发并部署可解释性与对齐技术 我们希望每一个能力强大的模型都拥有前沿的对齐技术栈。我们致力于开发并部署让模型对齐变得容易的技术,而我们研究路线图的目标,就是让更强大的对齐技术成为可能。下文将介绍我们的平台,但我们的目标是尽可能开放我们的研究,以便把更多的理解和对齐能力带给世界。 ### **检测** 我们正在让「规模化检测有害行为」成为可能——无论是在训练阶段还是推理阶段。**激活监控器**(https://www.goodfire.com/blog/probe-monitors-101)利用模型的内部激活来检测可疑行为的信号。相比用第二个模型当裁判,它们有诸多优势:成本极低、延迟极低,因而可以实时作用于每一个 token。它们能捕捉到 LLM 评委所遗漏的行为,而且其性能会随模型智能水平的提升而提升。我们最近已为最大的开源模型构建了监控器,能够检测奖励作弊、评测意识(模型意识到自己正在被评估)、网络滥用,以及与化学、生物、辐射和核(CBRN)相关的风险。 迄今为止,模型在思维链中方便地「叙述」自己的计划,这使它们更容易被监控(https://institute.deepmind.com/essays/the-case-for-reasoning-transparency/),但这个窗口正在收窄。强化学习的压力正在削弱思维链的忠实性,迫使模型把更多信息压缩进更少的 token。能力最强的模型也在转向在潜表征中进行推理,即所谓的「神经语」(neuralese)。我们预计,随着这些转变,对激活监控的需求会持续增长。 ### **调试** 在检测到一种可疑行为之后,研究者必须弄清它的普遍程度,并追溯到根源。我们正在构建工具,从海量生产日志中筛选出异常行为,使团队能够按概念进行检索。例如,通过模型中的「作弊」概念来检索日志,可能比直接阅读轨迹更快。 一旦某种行为被隔离出来,我们的平台就能帮助调试驱动它的内部机制。一个修复可能意味着修改有问题的训练环境、进行精细的权重编辑,或是对模型进行再训练。例如,团队可以在训练开始前对一个数据集运行预测性数据调试,标记它会教会模型什么。随着时间推移,这些工具能让团队在部署之前对模型的安全性建立起强得多的理解。 ### **设计** 更深层的目标是创造「天生安全」的模型。随着我们透视模型内部的能力不断提升,我们可以在训练前或训练中预测某一次「教导」会强化什么,并进行干预以塑造学习方向。检测奖励作弊至关重要,但更深层的目标是从一开始就训练出不会作弊的模型。这是我们希望看到的模型训练范式更广泛转变的基础——从被「培养」(https://darioamodei.com/post/the-urgency-of-interpretability)走向被「有意塑造」。 ## 可解释性领域的乐观理由 对这一计划最常见的质疑是速度。模型进步得如此之快。如果可解释性研究的进展赶不上怎么办? 没有什么保证;科学对不确定性再熟悉不过。但过去几年、尤其是过去一年的证据给了我们乐观的理由——我们相信可解释性正处在一次根本性加速的前夜。 ### **模型拥有丰富的内部结构** 我们解读模型的能力,取决于模型内部是否存在有结构的表征。可解释性领域早期的悲观情绪,很大程度上源于一些证据表明模型并没有清晰地表征概念。 而我们的经验恰恰相反。**我们在目光所及之处都发现了结构**——从生物学、机器人学到 LLM,各种模态皆然。研究人员发现,当模型从提示词中的示例学会一项任务时,少数几个注意力头会把这项任务压缩成一个**函数向量**(https://arxiv.org/abs/2310.15213),这是一种便携、自包含的表征,当它被加入模型在新场景下的激活中时,可以执行同样的任务。我们在**块稀疏特征提取器**(https://www.goodfire.com/research/bsf-vision#)方面的工作,已经把概念还原为可解释的多维区域,而非单一方向;而我们的**神经几何**(https://www.goodfire.com/research/the-world-inside-neural-networks#)研究表明,这些区域呈现出丰富而具有几何意义的形状,映射着世界本身。 一个语言模型内部的几何结构,涵盖星期、温度、颜色、年份和年龄。 *来自《神经网络内部的世界》(https://www.goodfire.com/research/the-world-inside-neural-networks)的语言模型内部结构。* 这一点事后看来相当直观。为了正常运作,模型需要让自己的「思路」保持条理。训练对它们施加了强大的压力,要求它们高效地使用参数,这使得它们倾向于采用在相关任务之间共享的结构化表征,从而能够组合与泛化。神经网络在融合思想时复杂得令人惊叹,在理解思想时又往往简单得令人惊叹。这种简单性使它们变得可读。 ### **更大的模型结构更清晰** 另一个担忧是,随着模型规模扩大,它们会变得愈发难以参透。事实恰恰相反:我们观察到,更大、能力更强的模型拥有更清晰的表征。研究人员发现,更大的模型对**真理**(https://arxiv.org/abs/2310.06824)、**空间与时间**(https://arxiv.org/abs/2310.02207)等概念的表征比小模型更干净。我们的研究人员也**证明了**(https://arxiv.org/abs/2605.29548)更大的模型学习执行任务所需概念的速度更快,而且某些概念可能只有大模型才能习得。 ### **AI 智能体正在加速可解释性研究** 可解释性还有一个特点:它格外适合由智能体驱动的加速。与生物大脑不同,我们可以完全访问这些新的数字心智。我们可以记录它们的内部活动、修改各个组件,并完全在软件中进行实验。 我们还可以验证结果。如果我们假设某个表征与奖励作弊相关,我们可以观察它在何时被激活、对它进行干预,并测量这种干预如何影响模型行为。完全访问权限、并行实验、可验证的结果——这些都是研究智能体的理想条件。也正是基于这些原因,我们才会全力逆向工程一个语言模型。 ## 结语 可解释性与对齐是困难的问题,需要许多个人、团队和组织长期不懈的努力才能解决。它们需要我们今天无法预见的创造力与突破。 它们同样需要信念。 技术史上最艰难的问题,往往需要那些怀有雄心、投身于前所未有事业的人才与坚持。阿波罗计划依靠约 40 万名工作者的信念,在任何人知道如何做到之前,就相信我们能把人送上月球。对齐给人的感觉是一项同样宏大的任务。我依然乐观地相信,我们能够、也必将……

相似文章

AI模型对齐问题

Reddit r/AI_Agents

探讨了AI模型对齐的问题,这是AI安全研究中的一个关键领域。