如果人工超级智能即将到来，那么超人类水平的对齐研究员将更早到来

OpenAI 研究员 Roon 今天发帖说：A 计划一直都是解决对齐问题，不是坐等人类增强或其他什么超级英雄式的扯淡方案，而是走一条“苦涩的教训”与互补性相结合的路，就像现代 AI 的其他一切进展那样 https://x.com/tszzl/status/2117377997166817550 这对实现积极的奇点来说是个好消息。很多末日论者的论点都存在矛盾。他们大多把递归自我改进即将到来视为既定事实，并认为它会带来 AGI，随后迅速带来 ASI。但如果递归自我改进（RSI）能造就通用超级智能，为什么不能先造就一个范围窄得多的东西——一个在对齐研究上超越人类的 AI？对一群 AI 智能体来说，创造出一个会带来生存风险的 ASI，远比创造出一个在对齐研究上拥有超人智能的专用 AI 困难得多。如果 RSI 能用来创造前者，那它肯定也能创造后者。Dario 对强大 AI 的定义是：在基本上每个领域都达到诺贝尔奖级别的专家水平。在一个领域超越人类，比在所有领域都超越人类更容易实现。所以，如果 ASI 即将到来，自动化的对齐研究员就应该先于它出现，而不是在它之后。你不能两头都占。要么 AI 进步快到足以构成危险，那么它也快到足以帮助解决这个问题；要么 AI 进步缓慢，那么我们就有充足的时间准备。通常的回应是：“对齐研究不容易验证。”但生物学、化学，乃至整个计算机科学领域的大多数前沿研究也同样如此。如果难以验证会阻止 AI 在对齐研究上变得强得可怕，那它也应该拖慢 AI 在这些领域的进步，这样一来，生存风险就会比末日论者声称的低得多。人们怎么会认为，AI 能通过递归自我改进成为 ASI，聪明到足以智胜生物学、化学、医学、物理学领域最聪明的研究人员，但出于某种原因，对齐研究员的工作却能稳稳地局限在人类研究人员手中？这说不通。如果我们真的正在走向 ASI，对齐问题就会在从 AGI 通往 ASI 的路上得到解决。末日论的成立，需要 AI 在所有事情上都超越人类，唯独在那个能让它变得安全的问题上不行。我还没见过一个充分的解释，说明为什么会这样。如果你有，我真心想听听。