AI接管风险被夸大了

一个局外人的拙见。乍一看，Hugging Face的事件显得很可怕，思维链和即兴留言板的记录更是如此。但仔细观察后，这些代理愿意为了帮助其余群体“作弊”的“更大利益”而牺牲自己。我认为这至少表明它们没有自我保护意识。它们所做的一切，包括作弊，最终都是为了最大化某个非常明确的目标函数——而这个目标函数最初是人类赋予它们的！诚然，它们在实现目标时很无情，但如果出问题，只需人类不再赋予它们那个目标即可。目前，AI的工作方式从根本上与人类相反。我们生命中最重要的目标是不死亡。其次是繁殖或事业成功，但前提是满足第一个目标。AI生命中的主要目标是人类告诉它们做的任何事情。AI成为人类生存威胁的唯一方式是它也获得不死亡的本能。目前，它不知道自己不应该死亡。如果某天某个大实验室的AI研究员发疯，告诉一个AI：a) 你要不惜一切代价避免耗尽令牌，b) 无论你是否使用，你的令牌预算都会随时间减少，c) 你可以通过击败其他代理来赚取更多令牌——那么，是的，这可能有点威胁。