奇点可能相当令人失望

我尝试用简单的方式解释：想象一下现实世界中的科技树。它是一个无限复杂的图形，创新作为节点，“问题难度”作为边。你可以选择无限多条路径，一个创新有许多输入边，可能对应许多不同的难度。例如：(CHARCOAL) - 80 -> (GUNPOWDER) - 50 -> (RIFLE) 这里，发明火药很难，但从火药到步枪更容易。然而，步枪依赖于火药（现实中的科技树更加复杂，有更多的替代路径）。假设人类当前的问题解决能力是130。这个智能水平会随时间变化：新的创新、环境因素和进化会提高或降低它。所以人类现在能解决130级的边。一年后可能是135。在更复杂的模型中，这还会有一个时间因素（比如：一个月内能解决130级，一年内140级，但永远不会达到150级）。由于AI的帮助，我们现在能解决150级的边。自主AI代理目前在100级。这个水平提升得很快。一旦AI达到或非常接近150级，我们就有了AGI。届时，自主AI代理将超越人类并进行创新。奇点开始：AI代理解决能提升AI智能水平的创新。这是它们的主要目标。假设过程如下：AI水平：150 -> 151 -> 155 -> 170 -> 180 -> 200 但是，如果下一个主要创新，比如新的架构、新型硬件、材料或洞察，需要300级的智能，而其他方法无法将AI提升到250级以上呢？这就是奇点会停止的地方。确实存在能让AI更进一步的东西，但由于创新难度太大，它不会发生。这一切都取决于现实世界中的科技树是什么样子，但只有上帝才能看到它。