Amodei 在周六要求业界放慢脚步。Altman 几小时内表示同意。Musk 也是。我没想到会发生这样的事。

这个周末，三位直接竞争的 CEO 公开达成了一项共识，我还在消化这件事。Amodei 在周六发表了一篇 3800 字的文章，题为《我们必须放慢前沿步伐》。核心论点是能力提升的速度超过了我们理解与控制所构建系统的能力。他小心地将此与 2023 年的训练暂停呼吁区分开来。放慢不是停止，而是在代理自主性下一次飞跃之前，确保对齐和评估工作能跟上。具体的承诺才是有趣的部分。Anthropic 表示将给予第三方评估员永久性的员工级访问权限——办公桌、工牌、笔记本电脑，以及其自身风险团队拥有的相同内部权限。还有合同权利，可以在没有 Anthropic 编辑控制的情况下发布发现。Altman 在几小时内公开同意，并承诺 OpenAI 匹配第一步。Musk 发帖称“Dario 是对的”。《华盛顿邮报》两天后报道称，Anthropic、OpenAI 和 Google 私下讨论了创建一个新的 AI 安全机构。我真的不确定对此作何解读。 cynicism 的解读是，这是在监管前定位立场，或者放慢步伐容易当你已经处于前沿时，而放慢会冻结你的领先优势。 less cynical 的解读是，那些看到系统内部的人正在告诉我们一些事情。我确实认为真实的是：拥有发布权的嵌入式评估员是一项比行业以往任何承诺都更难兑现的承诺。如果真的实施，它将改变外部监督的面貌。有人对评估员访问是否有意义，还是设计成看起来有意义，有看法吗？