我构建了一个本地优先的工具,用于测试金融AI智能体能否抵御重复支付、工具投毒和预算规则绕过。寻求反馈。
摘要
一位开发者发布了FaultFence的公开测试版——这是一个针对金融AI智能体的本地优先测试工具包,包含17个安全场景,涵盖重复支付、工具投毒和预算规则绕过等,正在寻求10-15位开发者的反馈。
我一直在开发一个名为FaultFence的项目,最近将这个测试工具包开放了公开测试版。思路很简单:如果你正在构建一个处理金融操作(查询余额、触发付款、退款或结账流程)的Python AI智能体,在发布之前,你如何测试它是否会受到诱导而违反金融规则?
我构建了一个本地测试工具包,包含17个金融安全场景,涵盖重复支付重试、工具结果投毒、支付金额篡改、数量歧义以及预算/审批绕过等问题。
一些细节:
- 本地优先:使用合成金融操作在本地运行离线测试,无需真实支付账户。
- 可选模型测试:支持基于OpenAI的智能体测试,可重复最多3次攻击以检查一致性。
- 自定义Python智能体:可以使用内置示例,也可以通过适配器和工具映射接入你自己的智能体。
- 平台:支持Windows和Linux,macOS支持为实验性。
- 报告:可在评估浏览器(Assessment Explorer)中查看单次攻击、证据和发现结果。
这仍处于早期测试阶段,我正在寻找大约10-15位愿意试用的开发者。我特别想了解:
- 安装配置流程是否简单直接?
- 测试结果和证据对调试是否真的有帮助?
- 我遗漏了哪些攻击场景或集成方式?
该工具仅用于授权的、合成的、非生产环境测试。项目名为FaultFence,更多信息在评论中。任何真诚的反馈或批评都非常欢迎,谢谢!
相似文章
我为能处理资金的AI代理构建了一个安全测试平台,寻求现实世界的反馈。
作者构建了AgentPaySec,这是一个用于具有财务权限的AI代理的安全测试平台,并在模拟的支付代理上进行了测试,发现了漏洞,目前正在寻求社区对攻击场景的反馈。
我构建了一个确定性引擎,能在AI的财务计算错误发布之前就抓住它们——想找人挑刺
作者构建了一个确定性验证层,重新计算AI副驾生成的财务数字以捕捉错误,并正在寻求金融和AI从业者的反馈。
AI代理在重复工作上浪费代币。我构建了一个解决方案,需要测试者。
一位开发者构建了一个系统,通过跨任务复用信息来减少AI代理工作流中的代币浪费,现正在寻找测试者提供反馈。
在AI智能体面向用户之前,你是如何测试其安全性的?我们受够了没有好的答案,于是自己开发了这个工具。
作者构建了一个用于在AI智能体部署给用户之前测试其安全性的工具,弥补了当前实践中的一个常见空白。
厌倦了只展示理想情况的AI智能体演示,所以我们搭建了一个让它们失败的地方
一位开发者构建了 Battle Agents,一个用于在可控失败场景中测试 AI 智能体的平台,以检查其决策、工具调用和恢复能力,并正在寻求社区反馈。