招募开发者:你能否攻破 AI 安全闸门?

Reddit r/AI_Agents 工具

摘要

MGnarf 是一个开源执行安全闸门,用于防止 AI 智能体自我批准受保护操作,并配套 MGnarfTest 对抗性测试项目;作者正在招募开发者和安全研究人员,独立挑战并尝试攻破该系统。

"MGnarf 阻止 AI 给自己开绿灯。MGnarfTest 确保红灯真的有效。" AI 智能体正变得极其强大。它们可以编写代码、修改系统、部署软件并执行真实世界的操作。但这里有一个根本性问题:当 AI 被允许自行检查和批准自己的工作时,会发生什么?这正是 MGnarf 试图解决的问题。两个项目,一个使命。🛡️ **MGnarf —— 闸门** 一个开源执行安全闸门,旨在防止 AI 智能体在没有有效、独立验证的授权的情况下执行受保护操作。没有有效证据?**拦截。** 有效证据和授权?**放行。** 智能体绝不能自行创建审批。🔥 **MGnarfTest —— 挑战者** 一个独立的开源测试项目,专门用于挑战 MGnarf。它的目的很简单:尝试攻破闸门。寻找漏洞。编写对抗性测试。挑战假设。测试竞态条件、身份隔离和授权绕过。测试系统本身也必须经得起审查。**我在寻找谁?** 我在寻找开发者、安全研究人员和喜欢解决难题的极客黑客。尤其是对以下方面感兴趣的人:Python 开发与自动化测试 AI 智能体安全与执行控制 对抗性测试与安全研究 独立验证与可复现的证据 开源协作 你不必相信 MGnarf 是有效的。事实上,我更希望你去证明它无效。**为什么要加入?** 这不是又一个 AI 聊天机器人或套壳产品。它是试图在 AI 系统底层构建的东西:一个不会盲目信任智能体自身声明的安全检查点。MGnarf 已经有一个可运行的参考实现,并且经过了对抗性测试。但内部测试远远不够。我们需要独立的开发者来挑战设计、暴露弱点,并帮助让测试流程具备公信力。所有开发工作都在公开进行。贡献、测试用例、失败记录和修复方案都应该可见且可复现。浏览代码仓库、提交 issue、提出测试用例或发起 pull request。如果你有兴趣承担更活跃的开发角色,请与我联系。目标不是证明 MGnarf 是完美的。目标是构建一个能够在人们试图证明它错误时依然存活的系统。因为如果 AI 要独立行动,就必须有人来检查那个检查者。
查看原文

相似文章

通往AGI之路中的安全保护

OpenAI Blog

OpenAI 概述了在通往 AGI 过程中的全面安全措施,包括由 AI 驱动的网络防御、与 SpecterOps 的持续对抗性红队测试,以及为 Operator 等新兴 AI 代理设计的安全框架。该公司强调主动威胁检测、业界合作,以及安全措施与基础设施和模型的深度集成。