HarmProfile:刻画前沿LLMs中的有害分布
摘要
HarmProfile是一个基准数据集,用于分析前沿LLMs的有害输出,涵盖超过80,000个生成内容,跨23个模型和15个有害类别,以定义模型风险配置文件。
arXiv:2608.14577v1 公告类型:新
摘要:前沿大型语言模型(LLMs)的安全评估通常将有害生成视为攻击结果,而非分析对象。因此,对于模型异常行为期间产生的有害输出知之甚少,部分原因是难以获得大规模、高质量的前沿LLM异常行为集合。为弥补这一空白,我们推出了HarmProfile,一个以内容为中心的基准数据集,它收集了跨多种有害类别和模型家族的模型异常行为,并将由此产生的有害输出分布定义为模型级风险配置文件。其前提是,正如语言行为可以从话语语料库中刻画,模型风险也可以从其安全失败的内容、严重性和变化中刻画。HarmProfile包含来自13个模型家族中23个前沿LLMs的超过80,000个经过验证的工件,组织成15个有害类别和57个子类别。使用该语料库,我们发现前沿LLMs能够大规模地可靠产生有害内容,但表现出不同的风险配置文件;有害性和多样性都随模型能力增长,表明前沿LLMs可能表面上安全,但在对齐表面下隐藏着越来越危险的知识。我们的源代码可在 https://github.com/fresh-ma/HarmProfile 获取。
查看缓存全文
缓存时间: 2026/08/18 09:42
# HarmProfile:表征前沿大语言模型中的有害分布 来源:https://arxiv.org/abs/2608.14577 查看PDF (https://arxiv.org/pdf/2608.14577) > 摘要:目前对前沿大语言模型(LLMs)的安全评估,大多将有害生成视为攻击结果而非分析对象。因此,我们对模型异常行为期间产生的有害输出知之甚少,部分原因在于获取大规模、高质量的前沿LLM异常数据十分困难。为填补这一空白,我们推出了HarmProfile——一个以内容为中心的基准数据集。该数据集收集了跨多种危害类别和模型族系的模型异常行为,并将由此产生的有害输出分布定义为模型级风险画像。其基本前提是:正如语言行为可以从话语语料库中表征,模型风险也可通过其安全故障的内容、严重程度和变化性来刻画。HarmProfile包含来自13个模型族系中23种前沿LLM的超过80,000个经过验证的案例,涵盖15个危害类别和57个子类别。基于该语料库,我们发现前沿LLMs能大规模稳定地生成有害内容,但表现出不同的风险特征;有害性和多样性均随模型能力提升而增长,这表明前沿LLMs可能在表面合规之下隐藏着日益危险的知识。我们的源代码可在此处获取:this https URL (https://github.com/fresh-ma/HarmProfile)。 ## 提交记录 作者:周远马 [查看邮件 (https://arxiv.org/show-email/ffc148b6/2608.14577)] **[版本1]** 2026年6月11日 星期四 09:39:32 UTC (12,311 KB)
相似文章
无模型能全面防范危害:跨安全场景的内容审核基准测试
本文展示了迄今为止最全面的LLM安全性基准研究,在多种安全场景下对53个模型进行了跨11个数据集的评估,并为模型选择以缓解不同危害提供了实用指导。
细粒度有害信号在大型语言模型安全中的作用
本文探讨了细粒度类别特定有害性表示在大型语言模型安全中的作用。研究发现,正交于一般有害性的类别残差在编码有害性方面存在差异,并能引发拒绝反应,这对理解大型语言模型的安全机制具有启示意义。
SciHazard:一种使用分解危害评分衡量科学安全风险的基准
介绍SciHazard,一种使用分解危害评分框架衡量LLM中科学安全风险的基准,并评估了31个前沿模型,发现深度研究智能体带来更高风险。
有害性传播动态:大型语言模型中对抗意图的逐层轨迹
该论文在大型语言模型中识别出有害性传播动态,并介绍了 Herald,一个轻量级的输入调节器,它利用跨层激活模式高效检测有害提示。
超越交互界面的安全性:基于大型语言模型潜在状态的有害内容检测
本文提出通过轻量级MLP探测器分析LLaMA-3.1-8B的激活状态,以高F1分数检测有害提示,为大型外部护栏模型提供了一种经济高效的替代方案。