我突然想到:如果开源模型现在已接近前沿水平的能力,我们还有哪些护栏能阻止有人设计另一种超级病毒并重演疫情?

Reddit r/ArtificialInteligence 新闻

摘要

对拥有前沿能力的开源AI模型风险的反思,质疑当前护栏在防止被滥用于生物武器制造方面的有效性。

像Kimi K3和GLM 5.2这样的开放权重模型,在大多数基准测试中与前沿闭源模型的差距仅剩几分。下载后移除模型的安全微调是低成本且有详细记录可循的。一旦完成,就没有供应商、没有API、没有分类器来监控查询……对吗?如果真是这样,那么我认为剩下的唯一防护措施就是实验室在发布前从训练数据中剔除的关于制造生物武器的内容(如果中国实验室确实这么做了的话),而这一点实验室外部无人能验证,且通过旁敲侧击地提问,并不可靠地阻止某人重建缺失的部分。我知道存在合成筛查、受控试剂追踪或DNA合成订单筛查等机制来监控湿实验室供应链,但它们真的足够强大,能够抵御一个被移除护栏的、开源开放权重的、心怀不轨的AI吗?例如,一个前沿模型能在多大程度上帮助某人绕过合成筛查?明确一下,我非常支持开源,但这个威胁向量现在让我感到担忧,所以我很好奇湿实验室专家们对此有何看法,因为这远超出我的专业范围。
查看原文

相似文章

为生物学领域的未来AI风险做准备

OpenAI Blog

OpenAI发布了一套管理高级AI模型在生物领域的两用风险的综合方案,通过专家协作、模型训练、检测系统和安全控制等策略,既能推动有益的科学发现,又能防止其被滥用于生物武器开发。