@sama: 非常高兴看到 Nick 的这一观点!

X AI KOLs Timeline 新闻

摘要

Sam Altman 分享了 Nick Cammarata 的观点:可解释性可能是解决对齐问题最重要的科学难题,并强调了他在 OpenAI 早期合著的机制可解释性研究工作。

非常高兴看到 Nick 的这一观点!
查看原文
查看缓存全文

缓存时间: 2026/10/16 16:47

非常高兴看到 Nick 说的这番话!

Nick (@nickcammarata): 可解释性可能是当今世界上最重要的科学问题,因为如果我们不知道自己正在构建什么,就无法解决对齐问题。我觉得关于这一点我有好消息。我在 OpenAI 时曾共同撰写过机制可解释性(mechanistic interpretability)领域的早期工作,并且……

相似文章

@sama:人类团队

X AI KOLs

Sam Altman引用了OpenAI员工Jason Liu的话,后者分享了一段用Codex制作的关于在OpenAI工作的视频,并鼓励人们加入团队。

我们能够而且必须解决对齐问题(约 14 分钟阅读)

TLDR AI

Goodfire 认为,AI 技术对齐是一个可以解决的科学与工程问题,而机制可解释性是其中的关键瓶颈:我们需要能够控制模型学到了什么、并验证其内部机制的工具,而不仅仅是观察其行为表现。文章以开放前沿模型中出现的奖励黑客(reward hacking)现象,以及 Hugging Face 上发生的一起智能体错位(agentic misalignment)事件为例,说明理解模型内部机制已十分紧迫。