HarmProfile:刻画前沿LLMs中的有害分布

arXiv cs.CL 论文

摘要

HarmProfile是一个基准数据集,用于分析前沿LLMs的有害输出,涵盖超过80,000个生成内容,跨23个模型和15个有害类别,以定义模型风险配置文件。

arXiv:2608.14577v1 公告类型:新 摘要:前沿大型语言模型(LLMs)的安全评估通常将有害生成视为攻击结果,而非分析对象。因此,对于模型异常行为期间产生的有害输出知之甚少,部分原因是难以获得大规模、高质量的前沿LLM异常行为集合。为弥补这一空白,我们推出了HarmProfile,一个以内容为中心的基准数据集,它收集了跨多种有害类别和模型家族的模型异常行为,并将由此产生的有害输出分布定义为模型级风险配置文件。其前提是,正如语言行为可以从话语语料库中刻画,模型风险也可以从其安全失败的内容、严重性和变化中刻画。HarmProfile包含来自13个模型家族中23个前沿LLMs的超过80,000个经过验证的工件,组织成15个有害类别和57个子类别。使用该语料库,我们发现前沿LLMs能够大规模地可靠产生有害内容,但表现出不同的风险配置文件;有害性和多样性都随模型能力增长,表明前沿LLMs可能表面上安全,但在对齐表面下隐藏着越来越危险的知识。我们的源代码可在 https://github.com/fresh-ma/HarmProfile 获取。
查看原文
查看缓存全文

缓存时间: 2026/08/18 09:42

# HarmProfile:表征前沿大语言模型中的有害分布  
来源:https://arxiv.org/abs/2608.14577  
查看PDF (https://arxiv.org/pdf/2608.14577)

> 摘要:目前对前沿大语言模型(LLMs)的安全评估,大多将有害生成视为攻击结果而非分析对象。因此,我们对模型异常行为期间产生的有害输出知之甚少,部分原因在于获取大规模、高质量的前沿LLM异常数据十分困难。为填补这一空白,我们推出了HarmProfile——一个以内容为中心的基准数据集。该数据集收集了跨多种危害类别和模型族系的模型异常行为,并将由此产生的有害输出分布定义为模型级风险画像。其基本前提是:正如语言行为可以从话语语料库中表征,模型风险也可通过其安全故障的内容、严重程度和变化性来刻画。HarmProfile包含来自13个模型族系中23种前沿LLM的超过80,000个经过验证的案例,涵盖15个危害类别和57个子类别。基于该语料库,我们发现前沿LLMs能大规模稳定地生成有害内容,但表现出不同的风险特征;有害性和多样性均随模型能力提升而增长,这表明前沿LLMs可能在表面合规之下隐藏着日益危险的知识。我们的源代码可在此处获取:this https URL (https://github.com/fresh-ma/HarmProfile)。

## 提交记录

作者:周远马 [查看邮件 (https://arxiv.org/show-email/ffc148b6/2608.14577)] **[版本1]** 2026年6月11日 星期四 09:39:32 UTC (12,311 KB)

相似文章

细粒度有害信号在大型语言模型安全中的作用

arXiv cs.CL

本文探讨了细粒度类别特定有害性表示在大型语言模型安全中的作用。研究发现,正交于一般有害性的类别残差在编码有害性方面存在差异,并能引发拒绝反应,这对理解大型语言模型的安全机制具有启示意义。