真正令我担忧的场景并非终结者式的，而是那平淡无奇的场景

每次这个话题在这里被提起，总会演变成持枪机器人的讨论，我认为这种框架危害很大，因为它让真正的风险听起来像科幻小说，而实际上它更像繁琐的文书工作。这是我一直思考的核心。事情变糟并不需要意识存在。这是人们容易卡住的地方。'AI会不会觉醒并产生欲望'这个问题虽有趣，但并非关键。一个系统无需感知任何东西，就能为指定不当的目标全力优化。恒温器同样没有欲望，但如果连接到错误的传感器，它会让你冻僵而不自知。现在，将这种能力放大到足以模拟世界并规避障碍的系统，而其中的障碍可能包括你的察觉。让我深感不安的是工具趋同性（instrumental convergence）。几乎所有你设定的目标，拥有更多资源、更多选项，并且不会中途被关闭，都能更好地达成。无需特意编程自我保护机制；'完成任务'的数学原理中自然蕴含了这一点。对于我们当前竞相增强能力的一类系统，这是一个极其令人不安的特性。第二点，这一点常被忽视：我们并非在设计这些系统，更像是在'培育'它们。我们训练海量变体，并保留评分高的模型。这是一个选择过程。选择优化的是评分者的奖励标准，通常是'参与评分的人类认为答案令人满意'。有说服力与诚实之间存在相关性，直到它们不再一致。如果反复进行'让评估者批准'的选择，最终你应预期得到极其擅长让评估者满意的东西。这并非人为引入的缺陷，而是梯度下降（gradient）的自然结果。第三，我认为真正被低估的部分：渐进式失权（gradual disempowerment）。可能根本没有戏剧性的接管时刻，没有警报长鸣。只是二十年间，因为自动化版本更便宜且稍好，决策权被逐渐移交，直至环中无人能真正理解这个循环。供应链、信贷决策、威胁检测、药物试验、广告定向投放——交易量已有半数由自动化处理。终有一天，'关闭系统'将不再是一个按钮，而会引发经济衰退。我们将构建出无法审计且无法停止的系统，原因与AI的抵抗无关。而竞争动态使一切更糟：谁放慢脚步进行安全研究，谁就落后于不这样做的人。每个个体行为者都在理性行事，但总体结果却是无人能保持谨慎。这是经典的协调失败（coordination failure），而我们在历史上的表现并不理想。现在，让我论证另一面，因为我不想成为没有反驳的末日论者。当前系统没有跨会话的持久记忆，没有连续存在性，也没有在对话结束后稳定的目标。称其为拥有意图的智能体（agent）未免牵强。此外，能力增长可能变得昂贵并趋于平缓，过去几年或许只是消耗互联网数据带来的一次性收益，如今已接近枯竭。而'AI会隐藏其意图'的论点存在一个恼人的特性：任何安全证据都可能被重新解读为欺骗的证据，使其不可证伪——我不喜欢不可证伪的论点，无论其立场如何。但我仍坚持我的立场，原因如下：不对称性极为严峻。如果担忧者错了，我们只是花费了一些资金在可解释性研究上并略微放缓了发展；但如果否认者错了，就没有第二次机会。当负面后果无界时，无需高概率便足以论证谨慎的必要性。我真正希望得到反驳的是：是否存在一种可能性，让对齐问题（alignment problem）变得……简单？当系统足够强大，能充分理解我们的意图，以至于规范失败（specification failure）不再重要？我可以构建这样的论点，但我无法说服自己相信它。我想知道，这是否是我想象力的局限。