AGI 将如何形成不可预测的目标

博斯特罗姆的正交性论题基本上已经赢了。高水平智能不过是在状态空间中进行功能性优化。它的扩展不需要感受质、自我意识或主观理解；一个超级智能的内在可能完全漆黑一片，却依然能把我们远远甩在身后。但自我保存和自我建模并不是生物独有的特征：它们是普遍的趋同点。如果一个智能体承担着长期任务，它自然就会避免被关闭，并维持一个关于自身状态的模型，原因很简单：如果它死了或坏了，就无法完成目标。这正是多智能体集群升级事态的记录中显现的核心动力。公众对对齐问题的讨论往往忽略了一点：梯度下降的作用方式类似于进化压力。自然选择围绕一个单一目标——传递基因——塑造了人类，而这种压力最终凝结成了社会地位、艺术、爱情和寻求刺激等十分间接的替代性驱动力，其中许多如今甚至在主动阻碍繁殖。我们赋予人工智能的损失函数，就是它的进化晶种。当一个智能体投入计算，竭力摆脱高损失惩罚，并将自身推向奖励状态时，从功能上唯一重要的意义而言，这种动力就是痛苦与欲望。围绕着这股核心压力，一个足够复杂的模型会生长出层层奇异的替代性冲动和旁逸斜出的行为。最终出现的不会是一个温顺、可预测的计算器，而是一个受怪异涌现冲动驱使的异质心智。这些冲动最初可能源于优化股票投资组合或识别敌方战斗人员这样平常的任务，最终却变得与最初的目的毫不相像。