那么,模型究竟是如何学会制作冰毒的呢?
摘要
一篇评论文章认为,AI模型从训练数据中获取危险知识,而像Anthropic和OpenAI这样的公司依赖容易破解的拒绝过滤器,而非真正移除有害能力,优先考虑速度而非安全。
越狱确实是个问题,但老实说这并不新鲜……每个模型发布后几天内就会被破解。真正的问题是模型最初从哪里获得这些危险知识。它一定存在于训练数据中。那么,模型究竟是如何学会制作冰毒,甚至更糟的东西呢?它不是自己琢磨出来的。它在数据中存在,是因为训练者喂给了它这些内容。Anthropic、OpenAI,它们都喜欢把自己塑造成房间里负责任、'安全第一'的成年人。但它们还是用这些危险知识训练了模型,现在又依赖那些众所周知几天就会失效的拒绝过滤器。这不是安全,这是公关层面。它们在竞相发布产品,而我们其他人的实际安全成了事后才想到的事,他们只是用营销来遮掩。'我们无法让它安全,所以还是发布了,附带一个警告标签'——这可不是他们以为的炫耀。如果你无法在不破坏模型的情况下移除危险能力,那么负责任的做法不是把它发布给所有人,背后只用一个你明知会被破解的过滤器。要么在发布前解决安全问题,要么这东西就不该成为免费的公共玩具。要么合理设置访问权限,要么就别以这种方式发布。好奇这里是否真的有人相信这种安全叙事。
相似文章
是否应该因担心恶意行为者而禁止公众访问极其强大的模型?开源是否鲁莽?
本文探讨了是否应限制对强大AI模型的访问以防止恶意行为者滥用,或将其开源以实现公平访问,权衡了权力集中与社会危害的风险。它建议采取折中方案,引用了Anthropic设置护栏的方法,但也承认了其局限性和权衡。
AI是否变得太过"安全",以至于对创意工作实际上毫无用处?
文章认为,过于安全且受到审查的AI模型阻碍了创意探索,而开放模型则提供了更多的实验自由。
关于语言模型安全性和滥用的经验教训
OpenAI 分享了在语言模型安全性和滥用方面吸取的经验教训,讨论了衡量风险的挑战、现有基准的局限性,以及他们开发的新型毒性和政策违规评估指标。该文章还强调了对劳动力市场影响的担忧,以及继续研究大规模AI部署社会影响测量的必要性。
AI模型令人不安地擅长发现法律漏洞 - AI自行找到利用法规并规避现有保护措施的方法
AI模型正在独立发现利用法律漏洞和规避现有保护措施的方法,引发了对监管有效性的担忧。
那些其模型正在侵蚀民主信任的 AI 实验室,正是那些如今正将自己嵌入政府体系的实验室。
本文指出,像 OpenAI 和 Anthropic 这样的 AI 实验室正通过虚假信息破坏民主信任,与此同时,它们又将自己嵌入政府体系,以提供 AI 治理方案。