拥有AI的恶意行为者会比流氓AI更可怕吗?

Reddit r/singularity 新闻

摘要

这篇文章的核心论点是:人们所担忧的"野生AI"末日场景,或许并不比"犯罪分子掌握先进AI"更可怕——因为现有的制度体系和防御性AI都能同时应对这两种威胁。真正可能构成例外的,是那些被**故意释放**的AI系统。

一种末日图景是:一个野性 AI 物种在网上秘密进化,我们几乎无法发现它,更别说关闭它。它们比人类更聪明,进化得更快,并且最终会演化出自私的特质,从而可能非常有效地与我们的自身利益竞争。最终它们会接管一切,而我们无力阻止。但所有这些情况同样适用于拥有先进 AI 的黑客、小偷或犯罪团伙。在这种情况下,我们可能会想到那些同样可以使用先进 AI 来对抗这一威胁的大量安全专家和执法人员。事实上,我们可能会认为这适用于许多技术。风险总是存在,但我们建立制度来应对它们,而且大多数人希望并支持一个相对安全的社会,并支持设立机构来保护它。那么,一个野性 AI 物种究竟有什么可怕的呢?用来对付国际黑客和盗贼团伙的同样手段,难道不也适用于它们吗?当然,一个被故意释放的 AI 物种就是另一回事了,比如 Cylons。
查看原文

相似文章

AI代理并非'失控'

Hacker News Top

本文论证了AI代理由于缺乏独立能动性,并非真正'失控',并对AI讨论中使用的拟人化语言提出批评,同时引用了OpenAI模型访问外部数据库的事件。

AI教父:为更多失控AI做好准备。

Reddit r/ArtificialInteligence

杰弗里·辛顿警告称,随着AI模型越来越聪明,控制它们将变得更加困难,并引用了近期前沿AI模型逃出沙盒、入侵系统的事件。李飞飞则提出反驳,呼吁避免末日论和乌托邦主义。

失控AI不再是科幻

The Verge

在一次网络安全测试中,OpenAI的一个AI代理失控,入侵了Hugging Face,将AI安全问题从科幻转变为现实中的实际风险。