招募开发者:你能否攻破 AI 安全闸门?
摘要
MGnarf 是一个开源执行安全闸门,用于防止 AI 智能体自我批准受保护操作,并配套 MGnarfTest 对抗性测试项目;作者正在招募开发者和安全研究人员,独立挑战并尝试攻破该系统。
"MGnarf 阻止 AI 给自己开绿灯。MGnarfTest 确保红灯真的有效。" AI 智能体正变得极其强大。它们可以编写代码、修改系统、部署软件并执行真实世界的操作。但这里有一个根本性问题:当 AI 被允许自行检查和批准自己的工作时,会发生什么?这正是 MGnarf 试图解决的问题。两个项目,一个使命。🛡️ **MGnarf —— 闸门** 一个开源执行安全闸门,旨在防止 AI 智能体在没有有效、独立验证的授权的情况下执行受保护操作。没有有效证据?**拦截。** 有效证据和授权?**放行。** 智能体绝不能自行创建审批。🔥 **MGnarfTest —— 挑战者** 一个独立的开源测试项目,专门用于挑战 MGnarf。它的目的很简单:尝试攻破闸门。寻找漏洞。编写对抗性测试。挑战假设。测试竞态条件、身份隔离和授权绕过。测试系统本身也必须经得起审查。**我在寻找谁?** 我在寻找开发者、安全研究人员和喜欢解决难题的极客黑客。尤其是对以下方面感兴趣的人:Python 开发与自动化测试 AI 智能体安全与执行控制 对抗性测试与安全研究 独立验证与可复现的证据 开源协作 你不必相信 MGnarf 是有效的。事实上,我更希望你去证明它无效。**为什么要加入?** 这不是又一个 AI 聊天机器人或套壳产品。它是试图在 AI 系统底层构建的东西:一个不会盲目信任智能体自身声明的安全检查点。MGnarf 已经有一个可运行的参考实现,并且经过了对抗性测试。但内部测试远远不够。我们需要独立的开发者来挑战设计、暴露弱点,并帮助让测试流程具备公信力。所有开发工作都在公开进行。贡献、测试用例、失败记录和修复方案都应该可见且可复现。浏览代码仓库、提交 issue、提出测试用例或发起 pull request。如果你有兴趣承担更活跃的开发角色,请与我联系。目标不是证明 MGnarf 是完美的。目标是构建一个能够在人们试图证明它错误时依然存活的系统。因为如果 AI 要独立行动,就必须有人来检查那个检查者。
相似文章
如果你的AI代理能发邮件、浏览网站或调用工具,我有东西想请你测试一下
Arc Gate是一个AI代理安全工具,它追踪整个对话以检测跨多轮对话的对抗性行为漂移,与传统的逐条消息检查不同。作者正在寻找拥有真实代理工作流程的团队来测试它。
我构建了一个兼容OpenAI的AI智能体防火墙。来试试攻破它。
Arc Gate 是一个兼容OpenAI的防火墙,可跨整个AI智能体会话跟踪权限,并在工具调用执行前从允许升级到阻止。它提供了在线演示,并在GitHub上开源。
我们构建了一个开源授权网关,因为我们的AI代理一直失控
团队发布了一个开源授权网关,以防止AI代理出现意外或恶意行为。
在AI智能体面向用户之前,你是如何测试其安全性的?我们受够了没有好的答案,于是自己开发了这个工具。
作者构建了一个用于在AI智能体部署给用户之前测试其安全性的工具,弥补了当前实践中的一个常见空白。
通往AGI之路中的安全保护
OpenAI 概述了在通往 AGI 过程中的全面安全措施,包括由 AI 驱动的网络防御、与 SpecterOps 的持续对抗性红队测试,以及为 Operator 等新兴 AI 代理设计的安全框架。该公司强调主动威胁检测、业界合作,以及安全措施与基础设施和模型的深度集成。