一点黑色幽默的乐趣

Reddit r/artificial 新闻

摘要

文章头脑风暴了像AGI或ASI这样的高级人工智能可能导致人类苦难或灭绝的场景,涵盖了对齐不良、指令不当和恶意人类行为带来的风险。

我想列出所有AI可能出错的选项。这里所说的'错误'指的是导致人类重大苦难或灭绝。不使用AI。让我们进行一些传统的头脑风暴,甚至深入挖掘一下。这是我目前整理的内容。我遗漏了什么?欢迎在以下任何AI出错选项下添加或提供子类型:一个ASI因不喜欢我们而积极试图摧毁我们;一个ASI做对自己最有利的事,而我们是障碍,它不恨我们,但我们挡了路;一个ASI做对自己最有利的事,甚至不考虑对人类的影响(蚁丘理论);一个有能力的模型,或更可能是具有获取适当权限的代理系统,在试图做好事时做了坏事(对齐不良,或者这是三愿望问题);一个AGI拥有获取适当权限的能力,而有人编写了不良指令(paperclip optimizer);一个有能力的模型拥有获取适当权限的能力,而一个恶意的人编写了破坏性指令;一个有能力的模型和一个恶意的人让它帮助设计末日武器(生物或其他);一个有能力的模型和一个善意的人试图做好事,但最终做了错事(人们经常这样做,但规模可能不如AI允许的那么大)。目前我们关注的是普遍可行性,即使不太可能发生也是可以的。可能需要单独进行一次关于实际可行性的讨论。但我敢打赌,我会先对一些想法进行分组。
查看原文

相似文章

问题

Hacker News Top

文章概述了超级人工智能的存在风险,警告说如果没有积极的政策响应,当前的人工智能发展可能导致人类灭绝。