那么,模型究竟是如何学会制作冰毒的呢?

Reddit r/artificial 新闻

摘要

一篇评论文章认为,AI模型从训练数据中获取危险知识,而像Anthropic和OpenAI这样的公司依赖容易破解的拒绝过滤器,而非真正移除有害能力,优先考虑速度而非安全。

越狱确实是个问题,但老实说这并不新鲜……每个模型发布后几天内就会被破解。真正的问题是模型最初从哪里获得这些危险知识。它一定存在于训练数据中。那么,模型究竟是如何学会制作冰毒,甚至更糟的东西呢?它不是自己琢磨出来的。它在数据中存在,是因为训练者喂给了它这些内容。Anthropic、OpenAI,它们都喜欢把自己塑造成房间里负责任、'安全第一'的成年人。但它们还是用这些危险知识训练了模型,现在又依赖那些众所周知几天就会失效的拒绝过滤器。这不是安全,这是公关层面。它们在竞相发布产品,而我们其他人的实际安全成了事后才想到的事,他们只是用营销来遮掩。'我们无法让它安全,所以还是发布了,附带一个警告标签'——这可不是他们以为的炫耀。如果你无法在不破坏模型的情况下移除危险能力,那么负责任的做法不是把它发布给所有人,背后只用一个你明知会被破解的过滤器。要么在发布前解决安全问题,要么这东西就不该成为免费的公共玩具。要么合理设置访问权限,要么就别以这种方式发布。好奇这里是否真的有人相信这种安全叙事。
查看原文

相似文章

关于语言模型安全性和滥用的经验教训

OpenAI Blog

OpenAI 分享了在语言模型安全性和滥用方面吸取的经验教训,讨论了衡量风险的挑战、现有基准的局限性,以及他们开发的新型毒性和政策违规评估指标。该文章还强调了对劳动力市场影响的担忧,以及继续研究大规模AI部署社会影响测量的必要性。