@mylifcc: AI 安全红队神器来了！ 刚刚发现一个超硬核的开源项目 —— DeepTeam！ 由 Confident AI 出品，基于 DeepEval 打造的 LLM Red Teaming 框架，专门用来“黑”你自己的大模型： 50+ 种真实漏洞…
摘要
Confident AI 发布了名为 DeepTeam 的开源 LLM 红队测试框架，支持 50+ 种漏洞检测和 20+ 种对抗攻击，旨在帮助开发者安全地测试大语言模型。
AI 安全红队神器来了！ 刚刚发现一个超硬核的开源项目 —— DeepTeam！ 由 Confident AI 出品，基于 DeepEval 打造的 LLM Red Teaming 框架，专门用来“黑”你自己的大模型： 50+ 种真实漏洞（PII 泄露、越狱、Prompt Injection、SQL 注入、偏见、毒性、工具滥用…） 20+ 种对抗攻击（单轮 + 多轮线性/树状 jailbreaking） 原生支持 OWASP Top 10 for LLM、NIST AI RMF、MITRE ATLAS 等主流安全框架 内置 7 个生产级 Guardrails，实时拦截 一行代码就能跑本地红队测试，完全本地执行
相似文章
@DailyDoseOfDS_: OpenAI 为此支付了 50 万美元！> 寻找 LLM 漏洞的 Kaggle 竞赛 DeepTeam 免费实现 20+…
DeepTeam 是一款免费的开源工具，实现了 20 多种最先进的攻击技术，可检测包括偏见和个人信息（PII）泄露在内的 50 多种 LLM 漏洞，可在本地运行且无需数据集。
@XAMTO_AI: 一个两人安全团队用AI挖出了代码里的真实漏洞，一笔赏金就赚了25万美元。 现在他们把这套系统开源了，叫Open-Kritt。它不是那种丢个仓库让AI瞎找的玩具，而是一个能把AI代理变成小规模安全团队的编排平台。 大多数人的做法是扔给AI一…
Open-Kritt 是一个开源的安全研究平台，通过编排多个 AI 代理并行分析代码，自动化发现真实漏洞，并支持去重、验证和优先级排序。背后团队用它曾获高额赏金并赢得 Firedancer 审计竞赛。
@josesilesdata: 再见，网络安全！一个开源仓库刚刚发布了数百个AI安全工具。
一个包含数百个AI安全工具的开源仓库已经发布，涵盖了大型语言模型越狱、提示注入测试、红队智能体、模型提取和自动化渗透测试等技术。
@AdamShao: 正式开源我的漏洞挖掘工具：http://flounders.xyz 这是一个基于 AI Agent 的全自动漏洞挖掘工作流，你只要告诉 AI 你要找什么项目的漏洞，它就会自动下载代码和文档，深度审计代码，发现可疑漏洞，自动在本地和线上验证…
Flounder is an open-source AI agent-based tool that automates vulnerability discovery in codebases. Users describe the target and the tool autonomously downloads code, conducts deep code audits, tests vulnerabilities locally and online, and generates reports.
揭秘GPT-Red：OpenAI为提升模型安全而打造的LLM超级黑客
OpenAI开发了GPT-Red，这是一个通过自对弈训练、能够自动对其他模型进行红队测试的LLM，发现了如新型'虚假思维链'提示注入等漏洞。该方法提升了GPT-5.6的鲁棒性。