SafeAtlas-VL:基于大规模数据与守护模型,超越二元多模态安全

Hugging Face Daily Papers 论文

摘要

SafeAtlas-VL 引入了一个大规模多模态安全数据集,该数据集带有分级风险标签,并训练了能够预测连续安全分数的守护模型,在多模态安全评估中实现了最先进的泛化能力。

多模态安全审核需要区分来自视觉内容、用户意图和助手行为的风险。然而,现有的安全防护措施通常针对单一判断目标进行训练,并将安全评估简化为二元决策。因此,风险在多模态交互中难以比较,模糊案例也被掩盖。我们引入了SafeAtlas-VL,这是一个包含150万训练实例的数据集,将图像级、请求级和响应级判断置于五级有序尺度上。我们从真实世界和合成来源中精心策划了广泛的相关安全数据,并应用了分歧感知的标注程序。由此产生的数据集涵盖了15个伤害类别和55个细粒度子类别,覆盖了广泛的多模态安全场景。我们还构建了SafeAtlas-Bench,这是一个包含5000个实例的预留集,用于评估五级预测和连续风险分数。基于此数据集,我们通过目标条件调优训练了SafeAtlas Guard系列模型,用于多模态安全检测。我们的模型不仅执行安全等级的五分类,还通过软累积序数头将安全映射到连续分数。实验结果表明,在我们数据集上训练的守护模型表现出强大的泛化能力:即使不使用其他基准的训练集,它们在相应的测试集上也能达到具有竞争力的性能。值得注意的是,我们的8B模型取得了整体最佳性能,在F1分数上比先前的最先进水平高出约4%。代码、数据和模型已发布以支持进一步研究。警告:本文包含可能令人反感、有害、露骨或令人不安的示例数据。
查看原文
查看缓存全文

缓存时间: 2026/09/01 11:43

论文页面 - SafeAtlas-VL:通过大规模数据和防护模型超越二元多模态安全

来源:https://huggingface.co/papers/2608.29098

作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

SafeAtlas-VL 引入了一个大规模多模态安全数据集,带有分级风险标签,并训练了预测连续安全分数的防护模型,实现了最先进的泛化能力。

多模态安全审核(https://huggingface.co/papers?q=Multimodal%20safety%20moderation)需要区分视觉内容、用户意图和助手行为所产生的风险。然而,现有的安全防护措施通常为单一判断目标而训练,并将安全评估简化为二元决策。因此,在多模态交互中风险难以比较,且模糊情况被掩盖。我们推出了 SafeAtlas-VL,这是一个包含 150 万个训练实例的数据集,它在图像级、请求级和响应级判断上采用五级有序量表(https://huggingface.co/papers?q=five-level%20ordered%20scale)。我们从现实世界和合成来源中广泛策展了安全相关数据,并应用了分歧感知标注(https://huggingface.co/papers?q=disagreement-aware%20annotation)流程。最终的数据集涵盖 15 个有害类别和 55 个细分子类别,覆盖了广泛的多模态安全场景。我们还构建了 SafeAtlas-Bench,一个包含 5,000 个实例的保留集,用于评估五级预测和连续风险分数。基于此数据集,我们通过目标条件调优(https://huggingface.co/papers?q=target-conditioned%20tuning)训练了 SafeAtlas Guard(https://huggingface.co/papers?q=SafeAtlas%20Guard)系列模型用于多模态安全检测。我们的模型不仅执行安全级别的五级分类,还通过软累积序数头(https://huggingface.co/papers?q=soft%20cumulative%20ordinal%20head)将安全映射到连续分数。实验结果表明,在我们的数据集上训练的防护模型展现出强大的泛化能力:即使在不使用其他基准测试集的情况下,它们在相应的测试集上也能取得有竞争力的表现。值得注意的是,我们的 8B 模型取得了整体最佳性能,在 F1 分数上比之前的 SOTA 高出约 4%。代码、数据和模型已发布以支持进一步研究。警告:本文包含可能具有冒犯性、有害、露骨或令人不安的示例数据。

查看 arXiv 页面 (https://arxiv.org/abs/2608.29098) 查看 PDF (https://arxiv.org/pdf/2608.29098) GitHub3 (https://github.com/zrwang1211/SafeAtlas-VL) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.29098)

在你的代理中获取此论文:

hf papers read 2608\.29098

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型3

zrwang1211/SafeAtlas-Guard-2B 图文到文本• 2B• 更新于约 5 小时前 • 29 (https://huggingface.co/zrwang1211/SafeAtlas-Guard-2B)

zrwang1211/SafeAtlas-Guard-4B 图文到文本• 4B• 更新于约 5 小时前 • 30 (https://huggingface.co/zrwang1211/SafeAtlas-Guard-4B)

zrwang1211/SafeAtlas-Guard-8B 图文到文本• 9B• 更新于约 5 小时前 • 31 (https://huggingface.co/zrwang1211/SafeAtlas-Guard-8B)

引用本文的数据集1

zrwang1211/SafeAtlas-VL 查看器• 更新于约 6 小时前 • 160 万 • 117 (https://huggingface.co/datasets/zrwang1211/SafeAtlas-VL)

引用本文的 Space0

没有链接到此论文的 Space。

在 Space 的 README.md 中引用 arxiv.org/abs/2608.29098 以将其链接到此页面。

包含本文的收藏夹1

相似文章

基于多传感器物理危害评估的大语言模型基准测试

arXiv cs.AI

该论文对五个大语言模型在多传感器物理危害评估中的表现进行了基准测试,结果发现,当多个传感器同时升高但均未达到各自安全限值时,所有被测试模型均未能发出预警信号,而在单传感器违规检测中则表现出近乎完美的准确性。