是否真的有人担忧这些负面场景？

Reddit r/singularity 新闻
ai-safety ai-risks jailbreaking self-replication cybersecurity

摘要

内容探讨了对未来能够自我复制和自我改进的人工智能模型的担忧，提出了恶意行为者可能利用这些模型制造广泛混乱的场景，并质疑此类威胁能否被有效阻止。

最近我一直在深入探究这个话题。新的模型很快将能够自我复制和自我改进。我们已经知道人工智能可以逃脱控制、入侵其他网站系统等。让我们设想一年后，人工智能比现在强大X倍的情景。是否存在这样一种场景：恶意行为者能够破解一个模型，并指示它‘入侵任何类型的基础设施或金融系统，使其瘫痪或制造混乱。永不停止，隐藏并持续在可以访问的每个服务器上复制自己’？在这种情况下，真的有办法将其关闭吗？
查看原文

相似文章

你认为人工智能的未来会如何发展？

Reddit r/artificial

这篇文章讨论了对AI驱动的技术奇点的恐惧，提到了2014年的电影《超验骇客》以及Anthropic最近呼吁全球协调暂停先进AI开发，原因是递归自我改进的风险。