是否应该因担心恶意行为者而禁止公众访问极其强大的模型？开源是否鲁莽？

AI安全的一个核心问题是，谁可以访问强大的AI系统，以及这些系统的可访问程度如何。如果我们只限制少数经过验证的用户，那么社会将面临分层风险，能够使用这些模型的人与不能使用的人之间的差距会越来越大。此外，这会导致信息可获取性的巨大鸿沟，直接转化为权力和杠杆的差距，成为权力集中的完美温床。如果走向另一个极端，将极其强大的模型开源给全体公众，那么恶意行为者必然会利用它们为所欲为，对社会造成危害，例如传播错误信息、生成非法色情内容、实施诈骗等。我个人认为，我们应该在中间地带划定一条线，并尽可能走好这条钢丝。一种方法是效仿当前Anthropic的模式：首先将这些系统发布给经过验证的关键行业，以增强他们应对未来潜在对手的能力，然后再以设置护栏的方式向公众发布。然而，护栏远非完美，很多时候可能过度限制，而且由于这种模式下无法开源这些级别的模型，会引入数据隐私风险，也无法直接对模型进行微调。另一种方法是不要限制AI本身，而是监管导致犯罪的事件链中的其他环节，例如更 robust 的第三方检测（针对欺诈交易和AI生成内容），以及对生物实验室设置更多护栏。这种做法的一个缺点是，监管将变得更加复杂，结果我们生活的其他方面可能会变得更糟。我们希望对强大模型拥有更多的个人控制权，但就像枪支一样，它是一把双刃剑，也可能反过来伤害我们。你认为当前的模型是否强大到值得进行这样的讨论？你认为社会是否准备好以至少与枪支同等的程度来获取这些极其强大的模型？