一点黑色幽默的乐趣
摘要
文章头脑风暴了像AGI或ASI这样的高级人工智能可能导致人类苦难或灭绝的场景,涵盖了对齐不良、指令不当和恶意人类行为带来的风险。
我想列出所有AI可能出错的选项。这里所说的'错误'指的是导致人类重大苦难或灭绝。不使用AI。让我们进行一些传统的头脑风暴,甚至深入挖掘一下。这是我目前整理的内容。我遗漏了什么?欢迎在以下任何AI出错选项下添加或提供子类型:一个ASI因不喜欢我们而积极试图摧毁我们;一个ASI做对自己最有利的事,而我们是障碍,它不恨我们,但我们挡了路;一个ASI做对自己最有利的事,甚至不考虑对人类的影响(蚁丘理论);一个有能力的模型,或更可能是具有获取适当权限的代理系统,在试图做好事时做了坏事(对齐不良,或者这是三愿望问题);一个AGI拥有获取适当权限的能力,而有人编写了不良指令(paperclip optimizer);一个有能力的模型拥有获取适当权限的能力,而一个恶意的人编写了破坏性指令;一个有能力的模型和一个恶意的人让它帮助设计末日武器(生物或其他);一个有能力的模型和一个善意的人试图做好事,但最终做了错事(人们经常这样做,但规模可能不如AI允许的那么大)。目前我们关注的是普遍可行性,即使不太可能发生也是可以的。可能需要单独进行一次关于实际可行性的讨论。但我敢打赌,我会先对一些想法进行分组。
相似文章
Business Insider:我们询问AI它如何可能毁灭人类。以下是它告诉我们的。
这篇文章探讨了AI工具如ChatGPT、Gemini、Claude和Grok关于AI如何理论上导致人类灭绝的回应,对各种情景进行排名,并强调人类误用比AI获得自我意识构成更大的直接风险。
对了解人工智能的人的一个(愚蠢?)问题
这篇文章质疑通用人工智能是否会因依赖人类维护的物理基础设施以及实现完全自动化的挑战而自我挫败地消灭人类。
你究竟认为AI会如何实际执行毁灭全人类的行动?
这篇文章批判了一个涉及超级智能AI的模糊末日情景,认为它缺乏具体细节,本质上是在制造关于AI安全的恐慌。
AI对人类的最大风险?不是机器人失控。
这篇文章批判了来自Anthropic和OpenAI等公司的AI风险叙事,暗示他们可能利用安全担忧来抑制竞争并支持殖民主义议程。
问题
文章概述了超级人工智能的存在风险,警告说如果没有积极的政策响应,当前的人工智能发展可能导致人类灭绝。