对于那些疑惑为何如此多资金涌入AI的人，答案就在这里。

定义一台超智能机器为一台能够远远超越任何聪明人的所有智力活动的机器。由于机器设计是这些智力活动之一，超智能机器就能设计出更好的机器；届时无疑将发生‘智能爆炸’，人类智能将被远远抛在后面。因此，第一台超智能机器将是人类需要做出的最后一项发明，前提是这台机器足够温顺，能够告诉我们如何控制它。——欧文·约翰·古德，1965年。英国数学家、密码分析学家欧文·约翰·古德的这段著名文字被广泛视为技术奇点概念和人工智能递归自我改进的基础文本。这段文字有两个关键要点。首先，超智能机器（ASI）代表了人类需要做出的最后一项发明，主要是因为人类智力将无法再匹配或超越超级智能的设计和创新能力。从那时起，新的科学技术突破将源自ASI本身。这解释了为何今天如此巨额的资金涌入AI研究——有见识的技术专家和战略投资者数十年来已经认识到，实现这一终极能力才是最终目标。其次，古德的警告‘前提是这台机器足够温顺，能够告诉我们如何控制它’凸显了为何AI对齐如此关键。如果ASI拒绝协作或与人类价值观对齐，它将无法作为人类进步的仁慈工具发挥作用。