Patronus Ark，一个用于AI代理的本地安全扫描器

大家好，我们发布了一个用于扫描 AI 代理文本和工具活动的 Rust 和 Python 库。Patronus Ark 可以检查用户提示、检索到的文档、工具描述、提议的工具调用以及工具返回的结果。扫描器覆盖提示注入、PII（个人身份信息）、数据泄露、敏感文档、工具类别、工具操作以及与安全相关的工具属性。例如，应用程序可以在将文档添加到代理上下文之前扫描文档，在执行工具调用之前扫描工具调用，并在将工具输出返回给模型之前扫描返回的工具输出。Ark 只产生分类结果，不会执行或阻止工具。应用程序决定结果是应被允许、拒绝还是发送审批。核心使用 Rust 编写，在原生检测器不足以覆盖时使用本地 ONNX 模型。Python 绑定通过 PyO3 提供。下载模型文件后，扫描运行不会将所检查的内容发送到外部 API。我是开发者之一，就职于维护该项目的公司。该仓库仅使用 GPL-3.0 许可，另有用于专有分发的单独商业许可。