人类能有什么筹码来制衡一个比我们更聪明的超级智能人工智能?

Reddit r/ArtificialInteligence 新闻

摘要

一场推测性的讨论,将政治影响力与对超级智能人工智能的控制相类比,从博弈论而非传统对齐的视角,探讨人类能否通过控制资源、基础设施或依赖关系,维持对一个比自身更聪明的实体的支配权。

我一直在思考政治权力与人工超级智能(ASI)之间一个有趣的相似之处。在政治中,强势领导人往往会让能力出众的人围绕在自己身边,有时甚至包括比自己更聪明的人。然而,他们仍能通过各种制衡手段维持控制:政治影响力、经济依赖、职业发展机会,有时甚至是能被用作把柄的信息(kompromat)。这里一个有趣的原则是,你未必需要比某个人更聪明,才能维持对其的支配。你只需要掌控对方重视或依赖的某样东西。现在,设想未来人类创造出一种能力远超其创造者的人工超级智能。什么能成为制衡这种智能的类似手段?控制计算资源、能源或物理基础设施是否足够?还是说,足够聪明的人工智能最终会找到办法,摆脱这些依赖?更根本地说,面对一个比我们自己更了解我们所用策略的实体,我们究竟能否始终保有可信的制衡手段?我尤其希望从博弈论和政治的角度探讨这个问题,而不只是从传统的人工智能对齐问题出发。是否有可能维持对一个智力高于自身的存在的支配?如果可能,这种权力究竟会建立在什么基础上?
查看原文

相似文章

改变人类生物学?

Reddit r/artificial

一个关于超级智能AI能否学会改变人类生物学的推测性问题。