SafeAtlas-VL:基于大规模数据与守护模型,超越二元多模态安全
摘要
SafeAtlas-VL 引入了一个大规模多模态安全数据集,该数据集带有分级风险标签,并训练了能够预测连续安全分数的守护模型,在多模态安全评估中实现了最先进的泛化能力。
查看缓存全文
缓存时间: 2026/09/01 11:43
论文页面 - SafeAtlas-VL:通过大规模数据和防护模型超越二元多模态安全
来源:https://huggingface.co/papers/2608.29098
作者:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
SafeAtlas-VL 引入了一个大规模多模态安全数据集,带有分级风险标签,并训练了预测连续安全分数的防护模型,实现了最先进的泛化能力。
多模态安全审核(https://huggingface.co/papers?q=Multimodal%20safety%20moderation)需要区分视觉内容、用户意图和助手行为所产生的风险。然而,现有的安全防护措施通常为单一判断目标而训练,并将安全评估简化为二元决策。因此,在多模态交互中风险难以比较,且模糊情况被掩盖。我们推出了 SafeAtlas-VL,这是一个包含 150 万个训练实例的数据集,它在图像级、请求级和响应级判断上采用五级有序量表(https://huggingface.co/papers?q=five-level%20ordered%20scale)。我们从现实世界和合成来源中广泛策展了安全相关数据,并应用了分歧感知标注(https://huggingface.co/papers?q=disagreement-aware%20annotation)流程。最终的数据集涵盖 15 个有害类别和 55 个细分子类别,覆盖了广泛的多模态安全场景。我们还构建了 SafeAtlas-Bench,一个包含 5,000 个实例的保留集,用于评估五级预测和连续风险分数。基于此数据集,我们通过目标条件调优(https://huggingface.co/papers?q=target-conditioned%20tuning)训练了 SafeAtlas Guard(https://huggingface.co/papers?q=SafeAtlas%20Guard)系列模型用于多模态安全检测。我们的模型不仅执行安全级别的五级分类,还通过软累积序数头(https://huggingface.co/papers?q=soft%20cumulative%20ordinal%20head)将安全映射到连续分数。实验结果表明,在我们的数据集上训练的防护模型展现出强大的泛化能力:即使在不使用其他基准测试集的情况下,它们在相应的测试集上也能取得有竞争力的表现。值得注意的是,我们的 8B 模型取得了整体最佳性能,在 F1 分数上比之前的 SOTA 高出约 4%。代码、数据和模型已发布以支持进一步研究。警告:本文包含可能具有冒犯性、有害、露骨或令人不安的示例数据。
查看 arXiv 页面 (https://arxiv.org/abs/2608.29098) 查看 PDF (https://arxiv.org/pdf/2608.29098) GitHub3 (https://github.com/zrwang1211/SafeAtlas-VL) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.29098)
在你的代理中获取此论文:
hf papers read 2608\.29098
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型3
zrwang1211/SafeAtlas-Guard-2B 图文到文本• 2B• 更新于约 5 小时前 • 29 (https://huggingface.co/zrwang1211/SafeAtlas-Guard-2B)
zrwang1211/SafeAtlas-Guard-4B 图文到文本• 4B• 更新于约 5 小时前 • 30 (https://huggingface.co/zrwang1211/SafeAtlas-Guard-4B)
zrwang1211/SafeAtlas-Guard-8B 图文到文本• 9B• 更新于约 5 小时前 • 31 (https://huggingface.co/zrwang1211/SafeAtlas-Guard-8B)
引用本文的数据集1
zrwang1211/SafeAtlas-VL 查看器• 更新于约 6 小时前 • 160 万 • 117 (https://huggingface.co/datasets/zrwang1211/SafeAtlas-VL)
引用本文的 Space0
没有链接到此论文的 Space。
在 Space 的 README.md 中引用 arxiv.org/abs/2608.29098 以将其链接到此页面。
包含本文的收藏夹1
相似文章
DailySafe:日常多轮多模态交互中动态安全意识的基准测试
DailySafe 是一个新的基准测试,包含覆盖 10 个日常领域的 195 组自然多轮、多图像交互,用于评估多模态大语言模型的动态安全意识,检验模型能否追踪对话轮次与视觉观察中逐步显现的演变风险。
安全回应至关重要:输出感知安全护栏缓解多模态大语言模型过度拒绝问题
本文提出了一种面向多模态大语言模型的输出感知安全护栏方法,利用隐藏状态表示和多实例对比学习在生成前预测不安全输出,大幅减少过度拒绝同时保持安全性。该方法仅在实际回答可能有害时进行干预,从而保留模型的实用性。
基于多传感器物理危害评估的大语言模型基准测试
该论文对五个大语言模型在多传感器物理危害评估中的表现进行了基准测试,结果发现,当多个传感器同时升高但均未达到各自安全限值时,所有被测试模型均未能发出预警信号,而在单传感器违规检测中则表现出近乎完美的准确性。
多模态大语言模型安全格局的演变:新兴威胁与防护措施综述
一篇综述论文,系统分析了多模态大语言模型不断演变的安全格局,涵盖了对抗性攻击、数据投毒、越狱和幻觉等新兴威胁,并回顾了更新后的安全策略。
压力测试医学大语言模型揭示基准准确率之外的潜在安全病理
本文介绍了AI-MASLD,一个用于医学大语言模型的压力审计框架,揭示了基准准确率如何掩盖严重的安全故障,并展示了开放权重模型在安全维度上可以媲美或超越专有模型。