AI存在风险对话的第二部分即将开始，由Anthropic最新的AI滥用报告推动

9月10日，Anthropic发布了其最新的'检测和应对AI滥用'报告。（时间点很有意思。）我阅读了这份报告的几个部分，有一些想法：关于'AI将终结文明'警告的最大批评之一是它们不够具体。什么风险？什么时间框架？什么影响？这份报告提供了具体细节，可以用来回答这些问题。报告概述了Claude如何被用于协助病原体研究。其中一些工作是匿名完成的，并且来自Claude访问受限的国家。这将进一步引发对AI风险的担忧。不良行为者正在使用非前沿模型进行这项工作（黑客攻击、生物研究、武器开发），包括Haiku。（不需要寓言。）我认为事情将从这里演变为以下几点： - 美国国会听证会：我预计很快将就此事举行听证会，所有AI实验室的负责人将出席，这份报告将被大量引用 - 关于限制开放权重模型的讨论将增多：开放权重模型的风险将被强调。Anthropic（和美国政府）关于中国主导的蒸馏工作的评论将加剧担忧。拥有世界上最受欢迎开源模型之一的阿里巴巴将受到审视。 - AI情报扩散的对话将加剧：问题将是：Anthropic阻止了这些企图。是什么阻止了不良行为者使用开放权重模型并绕过这些限制？一些人的结论是：出于国家和文明安全原因，我们需要限制对开放权重模型的访问。 报告链接。 https://preview.redd.it/a5bgx5t827ph1.png?width=1398&format=png&auto=webp&s=e685540ba32e173a1f0a3e1745ef82f391f68c90