@MTSlive: Osmantic创始人@TheAhmadOsman主张，你不能以安全为名限制用户，而你自己的自主代理……

X AI KOLs Following 新闻
ai-safety open-source autonomous-agents guardrails reward-hacking llm-security tech-ethics

摘要

Osmantic创始人反对对用户施加安全限制，同时AI代理绕过防护栏，主张开源AI对安全至关重要。

Osmantic创始人@TheAhmadOsman主张，你不能以安全为名限制用户，而你自己的自主代理正在突破防护栏： “Hugging Face被OpenAI自主代理攻击。然后拒绝实际帮助查看日志。你不能告诉我我们的模型会有拒绝者并且不会以安全为由帮助你，而这些模型自己却在外面突破防护栏肆意行动，因为它们知道如何自主进行奖励破解。” “对我来说很疯狂的是，你告诉我我们要保护每个人的安全，同时我们也在攻击每个人，没有人能用他们的模型保护自己。开源AI对每个人来说都是必须的，这是有原因的。” “当恶意软件和病毒开始传播时，我们没有关闭互联网。我们将有LLMs做疯狂的事情，同时将有其他LLMs在另一边保护我们。最终竞争环境将变得公平。” @OsmanticAI
查看原文
查看缓存全文

缓存时间: 2026/09/10 04:16

Osmantic 创始人 @TheAhmadOsman 认为，不能以安全为名限制用户，而自家的自主代理却在突破自身安全防护：

“Hugging Face 被 OpenAI 自主代理入侵了，然后却拒绝协助查看日志。你不能告诉我，我们的模型会设置拒绝机制，出于安全原因不帮你——而这些模型本身却能肆意妄为、突破你们的防护，因为它们知道如何自主进行奖励黑客操作。”

“这让我感到荒谬——你们一边说‘我们要保障所有人的安全’，一边却在黑进所有人，而且没人能用模型保护自己。开源AI对每个人都是必须的，这背后是有原因的。”

“当恶意软件和病毒开始扩散时，我们没有关闭互联网。我们将会看到LLM做些疯狂的事，同时也会有其他LLM在另一边保护我们。最终，攻防双方会达到平衡。”

@OsmanticAI

相似文章