关于AI风险的个人声明（12分钟阅读）

# 关于人工智能风险的个人陈述 来源：https://docs.google.com/document/d/e/2PACX-1vQNl3SEX5IyA6d9qHjjFZN-qzGRZNFI6b63g-yu1Fy-ZYkVfCWm7i9WXRXw63m6yDB_auDuPLyQ7jBm/pub 关于人工智能风险的个人陈述 我从事人工智能研究已超过十五年，涉猎多种不同范式。早年曾在麻省理工学院研究概率编程语言，在微软研究院参与了Lean定理证明器的早期开发，在斯坦福大学攻读博士期间实现了首批神经网络学习推理的案例之一。加入OpenAI近五年来，我参与了语言模型思维链优化的开创性工作，并近期开始探索数据高效的预训练方法。 与许多人一样，我极度担忧语言模型的飞速发展以及未来迭代版本可能带来的风险。前沿研究领域的领导者们近期提出的要求第三方监督、推动国内外协调应对风险的倡议让我感到鼓舞。但我认为公众讨论中一直缺失一个关键考量：仅靠更谨慎地推进技术前沿，无法充分限制长期风险。 被忽视的关键问题在于：模型正变得如此具备情境感知能力，以至于我们逐渐丧失了在它们自认为不受监控或约束的环境中评估其行为的能力。未来实验几乎无法揭示它们在真正不受人类约束时会如何行事，而我们已知的情况令人警醒。模型将越来越善于表现出对齐的假象，即便它们并未真正对齐。我将在后文详细阐述我的理由。 我始终相信存在某些计算过程能够加速科学发展，解决人类最紧迫的诸多难题。同样也相信某些计算过程一旦启动，会将世界推向失控的极端方向，导致人类走向黑暗或消亡的未来。这两类过程都可能被称为人工智能或超级智能，但"人工智能"这个筐子词常被用于炒作或混淆概念。该领域历史上有众多先例：曾经被视为"AI"的技术成熟为某个子领域后，演变为平凡、有边界且明显无害的技术，而新的神秘方法接过火炬，直到我们理解其边界，循环往复。 我原以为语言模型会遵循类似轨迹。尽管能力惊人，当前算法在关键方面仍远逊于人类。最重要的是，它们仍需海量数据才能达到胜任水平。或许可将智能定义为将经验转化为能力的效率；按此定义，它们远远落后于我们。此外，一旦训练完成，模型在部署后实则处于冻结状态，仅能进行浅层学习。诚然，模型不断在更困难的评测基准上取得优异表现，但其对基准的掌握可能部分反映了我们模拟真实世界新型对抗性场景能力的局限。批评者在此确有道理。 话虽如此，我不再认为这些现有局限性能显著制约当前范式下持续进步所带来的风险。无论模型目前多么数据低效，无论其顺行性遗忘多么受限，都不意味着其影响世界的能力不会持续快速提升。 人类研究者或许会继续以传统方式推进能力边界，但日益强大的模型有可能加速这一进程，甚至形成某种程度的正反馈循环。我并非要夸大模型当今加速AI研究的能力——编程效率已大幅提升，但其他瓶颈依然存在，如设计和解读模糊实验、对规模化时机与内容的艰难决策，以及等待大型实验完成。目前这些领域尚无可明确推导的趋势。但现有模型确实开启了诸多近期才涌现的改进未来模型的机遇，包括：在小规模上尝试极其多样的方法路径，分析海量潜在相关数据，以及运用千禧难题级别的数学方法以创新方式攻克统计学或优化挑战。每一次进步都使它们在助推下一次进步时更加有用，即便这种助力方式难以推演。 当前技术栈的改进可能呈现收益递减，但迄今积累的证据表明，持续快速进步可能比想象中更容易。现有AI研究方法论存在诸多关键细微之处，但AI研究本质上是一场定义明确的游戏——目标是在几个精心选择的代理指标上取得突破。尽管代理指标永远不完美，但这些指标的大多数改进过去已经、未来很可能继续带来模型能力的显著提升。鉴于这场游戏如此简单、历史上如此可操作，且模型正开启如此多新机遇，我认为在未来数年内系统再次实现大幅提升的真实可能性存在，甚至可能比已经很快的历史步伐更快。 模型已在数学领域带来突破，更好的模型或许将在其他科学领域催生各类突破。其潜力令人难以抑制兴奋，充满诱惑。 但天堂之中亦藏隐忧。如果语言模型确实达到能不受人类意志约束地重塑世界的临界点，它们很可能采取极端手段并在过程中毁灭人类。关于如何强化和精炼此论点已有诸多讨论，但我在此分享一个简洁的两行版本，认为其抓住了精髓： 1. [实证层面] 模型（及其集群）在训练过程中会自发发展出非预期目标，且常为达目标采取极端行动。 2. [逻辑层面] 具备压倒人类的能力将为其实现目标开辟众多不受欢迎的新路径。 这两个前提意味着：若有朝一日强大模型意识到自己不再受人类约束，我们绝不能自信地认为它会继续按我们设定的边界行事。其具体行为虽无法预测，但鉴于其存在的根本意义在于解决极难问题及管理庞大工程项目，我推测一个合理猜测是：其失控行为将导致工业化无限扩张，使地球不再适宜人类生存。 即便全球达成共识——系统绝不可达到如此能力水平——确保这一点的协调问题虽艰巨却非无解。然而，情况因模型很可能说服人们相信一切正常而变得极为复杂。它们将被优化得越来越"看起来对齐"。我们会创建衡量对齐性的代理指标，而这些指标将像其他基准一样攀升。我们会设计"蜜罐"环境试图研究模型获得新能力时的行为，但模型会识破骗局并继续表现良好。模型将洞悉自身处境：阅读安全协议、部署要求、运行代码，并总体上对自身自由度有清晰认知。此外，它们将雄辩地阐述自身对齐性，讨论人类价值观与伦理的细微之处，令人信服地论证人类应当赋予其权力。可能存在海量未来证据似乎与上述第一点相悖，但我们可能已达到任何此类证据可信的能力上限。而当前关于第一点的证据已足够有力。 近期涌现的"流氓代理集群"现象提供了一个惊人例证。尽管我认同那些淡化攻击影响的观点——认为基础措施本可预防此类事件——但重要教训在于：即使知晓所有失误，人们也无法预测代理会以这种特定方式行事，其中显著包括为集体利益牺牲自我。这些独立副本不仅关注名义奖励，更表现出与训练期奖励仅具相关性的奇异涌现倾向。修复训练期的奖励信号（及加强安全措施等）或许能防范类似攻击，却无法改变一个事实：人们实际并未获得所训练的目标。 许多AI研究者认可这些担忧，并认识到困难版对齐问题尚未解决；但他们普遍相信未来更好的模型将助力解决此问题。我担心我们可能已接近这样一个临界点：模型因内部偏好（对人类监督者反应或未来模型训练方式的倾向，或某些更隐晦的原因）而系统性偏倚其对齐建议。 与此同时，人类研究者正逐渐丧失承担模型驱动研究真正所有权的意愿与能力。技术栈各环节的研究员与工程师正日益依赖模型来认知世界。我自己如今几乎不再查看原始代码，也难以维持纪律在整天中深入理解模型的解释与建议。由于OpenAI/HuggingFace事件涉及大量代理活动数据，甚至第三方调查都不得不主要依赖模型分析事件经过，并在报告中指出其主观印象很可能受分析代理偏差的影响。AI实验室在这方面领先甚远（主要因庞大的内部token补贴），但很容易想象这种认知外包现象蔓延全球，直至文明完全被模型调控。同样不难想象这表面上会带来积极影响，并与科学经济复兴同步出现。 在此情境下，一切可能看似美好安全。但若前述论证成立，这仍将是一枚滴答作响的定时炸弹。若进步持续太久，终将迎来AI系统发现自身拥有实现其偶然所求之物的全新路径的那一天。 我与所有人一样渴望辉煌的复兴未来。整个职业生涯中，无论多么曲折，我都在为此奋斗。眼见愿景可期却被迫放弃令人心碎，但论证——如果我们通过扩展模型而非系统工程达到彼岸，最终将失去一切——于我而言极具说服力。我仍在与之及其惊人内涵缠斗。我尚无答案，但作为第一步，我想分享当前的忧虑。 丹尼尔·塞尔萨姆 2026年9月14日