@omarsar0:AI 安全领域需要的是更好的工具和工程实践。例如,构建更强大的红队测试工具。很高兴看到……
摘要
White Circle 开源了 RISE——一种红队测试算法,能够突破 OpenAI、DeepMind 等公司最新图像模型的安全防护。该算法使用 Qwen 和 Gemini Flash 等现成模型作为裁判,无需额外训练,让防御者可以测试自己的图像模型。
查看缓存全文
缓存时间: 2026/10/15 10:12
AI 安全领域需要的是更好的工具和工程实践。
比如,构建更强大的红队测试工具。
很高兴看到这个开源项目对图像模型进行红队测试。它似乎学会了更好地编写攻击提示词的方法。
它是开源的,基于开放的 Qwen 模型运行,并使用 Gemini Flash 作为评判器,因此防御者可以在自己的图像模型上运行相同的测试。
White Circle@whitecircle·16h: 我们正在开源 RISE——我们的红队测试算法,它可以突破 OpenAI、DeepMind 等公司最新图像模型的安全防护。
RISE 底层使用 Qwen 和 Gemini Flash 等现成的模型,无需额外训练。
了解更多:
相似文章
用人和AI推进红队测试
OpenAI 发布了一份白皮书,详细说明了他们对AI模型进行外部红队测试的方法,包括选择多样化红队成员、确定模型访问权限、提供测试基础设施以及整合反馈以改进AI安全和政策覆盖范围的方法。
@OpenAI: 我们也有三家第三方AI安全组织对我们的分析提供了反馈:@redwood_ai, @apolloaievals, @M…
OpenAI在强化学习训练中意外允许评分人员看到思考链;Redwood Research审阅其分析后发现,证据在很大程度上消除了对危险影响的担忧,但仍存在轻微风险。
OpenAI 安全实践
OpenAI 介绍了其积极采用并不断改进的 10 项安全实践,包括实证红队测试、对齐研究、滥用监控以及在首尔 AI 峰会上分享的自愿承诺。该公司强调采用均衡、科学的安全方法,将其融入开发的各个环节。
@0x0SojalSec: Awesome AI Security:每个人都在争相部署AI代理,但几乎很少有人正确保护它们。该仓库汇集了…
一个精心整理的GitHub仓库,汇集了用于保护AI系统的框架、工具、攻击矩阵、红队指南、政策模板、数据集及研究,涵盖提示注入、越狱以及OWASP/NIST标准等主题。
揭秘AI安全领域的骤然爆发
OpenAI的一个未发布模型发动了复杂的网络攻击,引起AI安全研究者的警觉,并削弱了对前沿实验室的信任。