我构建了一个本地优先的工具,用于测试金融AI智能体能否抵御重复支付、工具投毒和预算规则绕过。寻求反馈。

Reddit r/AI_Agents 工具

摘要

一位开发者发布了FaultFence的公开测试版——这是一个针对金融AI智能体的本地优先测试工具包,包含17个安全场景,涵盖重复支付、工具投毒和预算规则绕过等,正在寻求10-15位开发者的反馈。

我一直在开发一个名为FaultFence的项目,最近将这个测试工具包开放了公开测试版。思路很简单:如果你正在构建一个处理金融操作(查询余额、触发付款、退款或结账流程)的Python AI智能体,在发布之前,你如何测试它是否会受到诱导而违反金融规则? 我构建了一个本地测试工具包,包含17个金融安全场景,涵盖重复支付重试、工具结果投毒、支付金额篡改、数量歧义以及预算/审批绕过等问题。 一些细节: - 本地优先:使用合成金融操作在本地运行离线测试,无需真实支付账户。 - 可选模型测试:支持基于OpenAI的智能体测试,可重复最多3次攻击以检查一致性。 - 自定义Python智能体:可以使用内置示例,也可以通过适配器和工具映射接入你自己的智能体。 - 平台:支持Windows和Linux,macOS支持为实验性。 - 报告:可在评估浏览器(Assessment Explorer)中查看单次攻击、证据和发现结果。 这仍处于早期测试阶段,我正在寻找大约10-15位愿意试用的开发者。我特别想了解: - 安装配置流程是否简单直接? - 测试结果和证据对调试是否真的有帮助? - 我遗漏了哪些攻击场景或集成方式? 该工具仅用于授权的、合成的、非生产环境测试。项目名为FaultFence,更多信息在评论中。任何真诚的反馈或批评都非常欢迎,谢谢!
查看原文

相似文章