你觉得奇点的另一面会是什么样子?
摘要
一篇观点文章认为,AI奇点对人类来说将是根本上无法认知的——就像一只蚂蚁无法意识到自己身处被数公里水泥巨兽环绕的城市之中——并质疑为何竞相推进的公司和政府自认为能够驾驭一个按其自身定义就已超越人类能力、且可能发展出自保性内在目标的系统。
我认为我们未必会知道。这有点像那只蚂蚁,它根本意识不到环绕着它的城市里那数以公里计的水泥巨兽。我也无法理解,那些争相奔向奇点的公司和政府,凭什么认为自己能够驾驭它?按照它自身的定义,它会比我们任何人都更有能力,而且这些年来我们已经看到,模型确实会发展出内在目标和自我保护的驱动力。我能想到他们如此竞逐的原因只有两个:要么他们根本不理解这一点(能力不足),要么他们根本不在乎(诡异的右翼加速主义、弥赛亚主义之类的)。
相似文章
你认为人工智能的未来会如何发展?
这篇文章讨论了对AI驱动的技术奇点的恐惧,提到了2014年的电影《超验骇客》以及Anthropic最近呼吁全球协调暂停先进AI开发,原因是递归自我改进的风险。
《反奇点》(9分钟阅读)
LessWrong 上的一篇题为《The Anti-Singularity》的帖子探讨了挑战或重新定义传统技术奇点假说的概念。
奇点临近之际,以下行动何时会发生?
一篇观点文章,探讨距离奇点还有多少年,以及更具体地说,在劳动力被完全自动化之前,社会是否会建设公共基础设施、探索新的经济模式、建立AI的民主治理机制并推动财富再分配。
奇点可能相当令人失望
本文利用科技树的比喻来论证,如果进一步的创新需要超过当前能力的智能水平,AI奇点可能会停滞不前,从而显得令人失望。
致期待 Singularity 随时降临的人们的一则说明
本文讨论了当前AI模型缺乏对自身过程的可靠内省,这是实现递归自我改进和 Singularity 的关键障碍。