“paperclip maximizer”对我而言说不通!真正现实的AI末日场景有哪些?

Reddit r/ArtificialInteligence 新闻

摘要

一场质疑“paperclip maximizer”思想实验的讨论,询问专家们认为哪些具体的AI末日场景才是对人类的现实威胁。

很多人在谈论AI时会提到末日场景。有些人认为AI最终会与人类“开战”并消灭我们,无论是故意还是无意。无意类的经典例子是回形针理论:一个AI被指派制造回形针,变得极其高效,开始建造新机器来生产更多金属以制造更多回形针,最终消耗一切,包括我们。在我看来,这只是一个糟糕的例子。一个聪明到能实现这一点的AI,也应该有足够的智慧意识到,为了制造回形针而杀死所有人类并不是一个聪明的做法。如果所有人都死了,没有人需要回形针。而且更根本的是,消灭我们从来就不是它的初衷。所以我的问题是:人们认为哪些具体场景才是对人类的现实威胁?不是思想实验,而是专家们真正担心的那些。
查看原文

相似文章

重新审视关闭问题

arXiv cs.AI

本文认为,现有论点并未证明解决AI智能体的灾难性关闭问题的难度,且对该问题的关注导致了技术解决方案,这些方案对模型性能施加了高安全代价。

一张图看懂AI现状

Reddit r/artificial

一位新人观察到,AI讨论被“末日论”与“吹捧论”两极分化,质疑是否有人真正投入用户体验与小型模型系统设计,而非一味追求规模。