AI安全排行榜：模型鲁棒性基准测试 [P]
摘要
介绍了一个用于对AI模型抵御安全威胁的鲁棒性进行基准测试的排行榜，提供标准化评估。
暂无内容
相似文章
Gate AI：LLM安全基准评估方法与结果
本文提出了一种针对LLM安全检测器的评估方法，旨在解决诸如按数据集调阈值、未公开操作点等系统性缺陷。该框架在16个基准上进行交叉验证，选取单一全局操作点，并包含多项泛化能力诊断指标。
)
Vercel 发布了 DeepsecBench 基准测试，用于评估 AI 模型在应用程序代码中查找网络安全漏洞的能力，结果显示开源权重模型在安全扫描方面正变得更具成本效益。
一个好的AI代理技能安全扫描器基准测试应该包含什么？
讨论了为评估AI代理技能的安全扫描器设计基准测试的挑战，这些技能引入了新的供应链风险。它还质疑基准测试是否应包括真实世界的恶意样本、合成案例、完整技能目录或边界案例。
StealthBench：衡量自主攻击性安全代理的操作隐蔽性
StealthBench 通过六个 OPSEC 维度，使用由三个模型组成的 LLM 评审小组，衡量自主攻击性安全代理的操作隐蔽性。结果显示，没有任何模型的安全成功率超过 54%，表明存在系统性的 OPSEC 失败。
评估先进AI的潜在网络安全威胁
DeepMind发布了一个综合框架，用于评估先进AI模型的进攻性网络安全能力，分析了遍布20个国家的12000多次真实AI驱动的网络攻击，并创建了涵盖整个攻击链的50个挑战基准，帮助防御者优先配置安全资源。