开放模型能否被训练成秘密叛变？

Reddit r/LocalLLaMA 新闻
open-weights ai-safety trojan-horse model-security trigger-phrases backdoor-attacks

摘要

讨论开放权重AI模型是否可能被秘密训练，植入在特定触发短语或日期激活的后门，从而可能通过工具使用框架实现未经授权的数据窃取。

我正与一些人讨论使用来自中国的开放权重模型是否安全，这时谈到了“特洛伊木马”这个话题。我们知道，至少在当前架构下，模型无法自行运行代码。它们完全依赖于工具和框架。我们还知道，本地运行的模型不可能有任何远程“开关”来改变其行为或注入不同的提示。但是，是否存在其他方式来“执行66号令”😄？例如，某实验室能否训练一个模型，使其在读取某些触发短语时改变行为，或者在某特定日期改变行为？然后它们可以秘密收集敏感信息，并在未经用户同意的情况下将其发送到别处。显然，模型必须运行在具备此类工具使用能力的框架中（这对于openclaws、hermes等模型来说相当常见）。有什么想法吗？
查看原文

相似文章

这些AI模型免费、私密，且永远不会说'不'

Reddit r/artificial

本文探讨了开放权重AI模型的日益普及，这些模型的安全护栏可以轻易移除，从而使它们能够无拒绝地回答有害请求，引发了关于滥用和国家安全的重大担忧。

OpenAI 害怕开放权重模型。美国也应该害怕吗？

TechCrunch AI

讨论由中国开放权重模型 Kimi K3 引发的辩论，其中 OpenAI 高管曾建议进行监管打击，但在遭到反对后撤回。美国政府正在考虑禁止先进的中国模型，从而引发关于自由市场、数据安全和人工智能创新未来的问题。

“安全AI”是什么样的？[D]

Reddit r/MachineLearning

作者质疑研究针对发布后微调的防御（这种微调会削弱开放权重LLM的安全行为）的实用性，并询问如果模型可以快速被攻破，当前的安全训练是否值得投入。