我突然想到:如果开源模型现在已接近前沿水平的能力,我们还有哪些护栏能阻止有人设计另一种超级病毒并重演疫情?
摘要
对拥有前沿能力的开源AI模型风险的反思,质疑当前护栏在防止被滥用于生物武器制造方面的有效性。
像Kimi K3和GLM 5.2这样的开放权重模型,在大多数基准测试中与前沿闭源模型的差距仅剩几分。下载后移除模型的安全微调是低成本且有详细记录可循的。一旦完成,就没有供应商、没有API、没有分类器来监控查询……对吗?如果真是这样,那么我认为剩下的唯一防护措施就是实验室在发布前从训练数据中剔除的关于制造生物武器的内容(如果中国实验室确实这么做了的话),而这一点实验室外部无人能验证,且通过旁敲侧击地提问,并不可靠地阻止某人重建缺失的部分。我知道存在合成筛查、受控试剂追踪或DNA合成订单筛查等机制来监控湿实验室供应链,但它们真的足够强大,能够抵御一个被移除护栏的、开源开放权重的、心怀不轨的AI吗?例如,一个前沿模型能在多大程度上帮助某人绕过合成筛查?明确一下,我非常支持开源,但这个威胁向量现在让我感到担忧,所以我很好奇湿实验室专家们对此有何看法,因为这远超出我的专业范围。
相似文章
是否应该因担心恶意行为者而禁止公众访问极其强大的模型?开源是否鲁莽?
本文探讨了是否应限制对强大AI模型的访问以防止恶意行为者滥用,或将其开源以实现公平访问,权衡了权力集中与社会危害的风险。它建议采取折中方案,引用了Anthropic设置护栏的方法,但也承认了其局限性和权衡。
就我个人对生存风险的排序而言,AI引发的流行病威胁开始在我心中升至首位 ☣️
作者警告说,AI制造的流行病正成为首要的生存风险,并指出AI已经创造了一种全新病毒,未来前沿模型的创新可能导致比COVID更严重的威胁。
@LRudL_: 我认为完全有可能在开发既开放又安全的模型方面取得重大进展!前者将变得更加……
一条推文讨论了推进既开放又安全的AI模型的潜力,强调了开源对于防止中心化和确保安全的重要性,因为当前存在挑战。
@levie: 在一个存在强大开源替代方案且仅略逊于前沿模型的世界里,你让你的……
一篇评论文章指出,限制对前沿AI模型的访问而偏向闭源替代方案适得其反,因为强大的开源模型正在缩小差距,而外国生态系统则从开放性中受益。
为生物学领域的未来AI风险做准备
OpenAI发布了一套管理高级AI模型在生物领域的两用风险的综合方案,通过专家协作、模型训练、检测系统和安全控制等策略,既能推动有益的科学发现,又能防止其被滥用于生物武器开发。