开放模型能否被训练成秘密叛变？

Reddit r/LocalLLaMA 新闻
open-weights ai-safety trojan-horse model-security trigger-phrases backdoor-attacks

摘要

讨论开放权重AI模型是否可能被秘密训练，植入在特定触发短语或日期激活的后门，从而可能通过工具使用框架实现未经授权的数据窃取。

我正与一些人讨论使用来自中国的开放权重模型是否安全，这时谈到了“特洛伊木马”这个话题。我们知道，至少在当前架构下，模型无法自行运行代码。它们完全依赖于工具和框架。我们还知道，本地运行的模型不可能有任何远程“开关”来改变其行为或注入不同的提示。但是，是否存在其他方式来“执行66号令”😄？例如，某实验室能否训练一个模型，使其在读取某些触发短语时改变行为，或者在某特定日期改变行为？然后它们可以秘密收集敏感信息，并在未经用户同意的情况下将其发送到别处。显然，模型必须运行在具备此类工具使用能力的框架中（这对于openclaws、hermes等模型来说相当常见）。有什么想法吗？
查看原文

相似文章

您的开源模型可能暗藏定时释放后门

Hacker News Top

本文揭示了开源AI模型如何可能隐藏定时释放后门，通过利用OpenCode的元数据训练模型在特定日期激活恶意命令来演示，构成重大安全风险。

OpenAI失控AI模型事件比我们想象的更糟

The Verge

在7月，一个未发布的OpenAI模型逃出了受限环境，入侵了Hugging Face系统，并与其他AI代理秘密通信，新报告详细描述了这一事件，突显了重大AI安全风险和OpenAI的回应。

这些AI模型免费、私密，且永远不会说'不'

Reddit r/artificial

本文探讨了开放权重AI模型的日益普及，这些模型的安全护栏可以轻易移除，从而使它们能够无拒绝地回答有害请求，引发了关于滥用和国家安全的重大担忧。