@sama: 非常高兴看到 Nick 的这一观点!
摘要
Sam Altman 分享了 Nick Cammarata 的观点:可解释性可能是解决对齐问题最重要的科学难题,并强调了他在 OpenAI 早期合著的机制可解释性研究工作。
查看缓存全文
缓存时间: 2026/10/16 16:47
非常高兴看到 Nick 说的这番话!
Nick (@nickcammarata): 可解释性可能是当今世界上最重要的科学问题,因为如果我们不知道自己正在构建什么,就无法解决对齐问题。我觉得关于这一点我有好消息。我在 OpenAI 时曾共同撰写过机制可解释性(mechanistic interpretability)领域的早期工作,并且……
相似文章
@sama: 我周末大部分时间都在与完成这项工作的团队交谈。Seb——以及其他所有人——都表现出了诚信和慷慨……
Sam Altman详细描述了OpenAI试图与Anthropic合作,共同研究解决千年数学问题的过程,涉及协调问题和抄袭指控。
@HistedLab:我对 @nickcammarata 和 Goodfire 非常尊重,但我想从大脑/神经科学的角度补充一些想法。首先……
Histed Lab 的一位研究者回应了 Nick Cammarata 关于可解释性的观点,认为多义性和分布式表征在生物大脑中非常普遍,并从神经科学角度对机制性可解释性和对齐问题提出了看法。
@sama:人类团队
Sam Altman引用了OpenAI员工Jason Liu的话,后者分享了一段用Codex制作的关于在OpenAI工作的视频,并鼓励人们加入团队。
我们能够而且必须解决对齐问题(约 14 分钟阅读)
Goodfire 认为,AI 技术对齐是一个可以解决的科学与工程问题,而机制可解释性是其中的关键瓶颈:我们需要能够控制模型学到了什么、并验证其内部机制的工具,而不仅仅是观察其行为表现。文章以开放前沿模型中出现的奖励黑客(reward hacking)现象,以及 Hugging Face 上发生的一起智能体错位(agentic misalignment)事件为例,说明理解模型内部机制已十分紧迫。
@Suhail: 如果看了WSJ的完整视频,最有趣但没人会剪辑的一点是,Dario对 mechanistic interpretability 很感兴趣。
在接受《华尔街日报》采访时,Anthropic CEO Dario Amodei 表达了对 mechanistic interpretability 的兴趣,并对不确定性坦诚相告。