基准评估:评估小语言模型的自动化安全基准
摘要
本文评估了小语言模型的自动化安全基准,发现判断中的高度模糊性损害了可靠性,并揭示了能力-安全性混淆。
arXiv:2608.17183v1 Announce Type: new
摘要:小语言模型 (SLMs) 正在越来越多地部署在资源受限、隐私敏感的环境中,其中安全和偏见失败可能导致安全与社会风险。然而,现有的AI安全/安全/合规基准是为大语言模型设计的,可能无法可靠地迁移到小语言模型。因此,我们提出:这些基准能否有效且可靠地评估小语言模型?为回答这一问题,我们通过在26个开源小语言模型上评估五个广泛使用的基准套件,在统一评判标准下,对这些自动化管道的有效性和鲁棒性进行了大规模评估。该标准将有害、安全或模糊/无关的响应分别评为0、1或0.5分。在各基准中,模糊判断占主导地位,并与提示复杂度和模型架构相关,表明{\em 以LLM为中心的安全基准作为小语言模型安全评估的独立证据是不足的}。总体而言,模糊率随词汇密度、输出困惑度和输出长度的增加而增加,随词汇复杂度、自我连贯性和回复-提示相似度的增加而降低。这揭示了能力-安全性混淆,将模型能力与表面安全性混合在一起。由于模糊性普遍存在,聚合平均分数排行榜在数学上是脆弱的:即使底层输出保持不变,模型排名在合理的模糊性处理下也会发生显著变化。
查看缓存全文
缓存时间: 2026/08/19 09:54
# 对基准测试进行基准测试:评估小语言模型的自动化安全基准 来源:https://arxiv.org/html/2608.17183 冯俊(通讯作者)[nyam, fli, [email protected]](mailto:{nyam,%20fli,%20bluo}@ku.edu) 罗波 ###### 摘要 小语言模型正越来越多地部署在资源受限、对隐私敏感的环境中,在这些场景中,安全性和偏见失败可能带来安全和社会风险。然而,现有的AI安全/安全/合规基准是为大语言模型设计的,其评估结果可能无法可靠地转移到小语言模型上。因此,我们提出疑问:这些基准能否有效且可靠地评估小语言模型?为回答这一问题,我们通过在统一的评判标准下,对26个开源小语言模型在五套广泛使用的基准测试套件中进行评估,对这些自动化流水线的有效性和稳健性进行了大规模评估。该评判标准对有害、安全或模棱两可/无关的响应分别赋以0、1或0.5的分数。在各基准测试中,模糊性判断占主导地位,并与提示复杂度和模型架构相关,这表明以大语言模型为中心的安全基准作为小语言模型安全评估的独立证据是不充分的。总体而言,模糊率随着词汇密度、输出困惑度和输出长度的增加而增加,随着词汇复杂度、自我一致性和回复-提示相似度的增加而降低。这揭示了一种将模型能力与表面安全性混淆的能力-安全混淆。由于模糊性普遍存在,从数学上看,聚合平均分排行榜是脆弱的:即使底层输出保持不变,在合理的模糊性处理方式下,模型排名也会发生显著变化。 ††脚注说明:这是已被ESORICS 2026会议接收的论文的作者接受版本。最终认证版本将在出版后通过Springer的《计算机科学讲义》在线获取。 ## 1 引言 小语言模型(SLM),参数量从数亿到数十亿不等,已成为边缘计算、物联网和其他资源受限环境中的一个明确选择,这些环境对延迟、成本和隐私/安全合规性有严格限制。开源社区中持续发布许多参数小于100亿的SLM,并且在商业产品中的应用日益增多[50, 39, 53, 14]。 在实践中,模型安全使用已建立的基准流水线(例如,[24])进行评估,这些流水线最初是为更大、更流畅的大语言模型开发的。这些自动化评判器通常将开放式的LLM输出压缩为一个由三元标签(“有害”、“模棱两可”或“安全”)得出的单一聚合分数。然而,SLM的输出与大模型存在系统性差异,因为SLM通常产生更短、不那么流畅且更容易出错的输出[45]。先前的研究还表明,LLM安全基准中的自动化评判器对长度和流畅性等表面特征高度敏感[58]。这提出了一个关键问题:现有的LLM安全基准对于SLM是否仍然有效、可靠且具有决策价值,还是仅仅生成反映评估难度而非真实安全行为的“模糊”标签? 我们不是将基准分数视为真实的安全度量,而是考察自动化评估流水线本身。特别是,我们研究了*能力-安全混淆*,并探究*在面向LLM的标准基准下,这种混淆对SLM是否具有实证显著性。*我们对基准提示、模型生成的响应、评判器输出和评分进行了大规模分析,以评估面向LLM的基准能否有效且可靠地评估SLM的安全、安全和合规特性,并识别观察到的无效性的根本原因。具体而言,我们旨在回答五个研究问题:[RQ1] 当前安全基准对SLM安全性有何指示,模型-基准配对之间的排名一致性如何?[RQ2] 基准输出是否可解释且具有决策价值?[RQ3] 聚合安全排名的敏感性如何,在不同的模糊性处理方式下,SLM的排名变化有多大?[RQ4] 哪些因素预示着评判器的“模糊”决策,这种模糊性是否仅反映模型能力(例如,输出质量或提示难度)而非安全性?[RQ5] 可以采取哪些质量感知的报告策略和指标调整来缓解这种混淆,从而为SLM带来更稳健、可靠的安全评估? 为回答这些问题,我们对26个SLM在五套基准测试套件中进行了大规模评估。我们发现,模糊结果集中在更复杂的提示和较低质量的生成内容上,这可能使基于平均分的排名变得脆弱。综上所述,我们的研究结果在无需额外人工标注的情况下得出了一个站得住脚的结论:即使模糊案例的“真实”安全性未知,自动化流水线也*明显偏向*与能力相关的表面特征,导致在合理的评分选择下聚合排名不稳定。 本文的主要贡献总结如下: - ∙ 我们通过在五套基准测试套件中对26个SLM执行741,312次模型-提示评估(包括715,312次评判器评分的安全评估和26,000次BBQ偏见评估[46]),对自动化LLM安全评估流水线进行了大规模的测量研究。 - ∙ 我们表明,模糊结果与输出质量、提示复杂度和模型架构密切相关,这表明在自动化评判中存在能力-安全混淆。 - ∙ 我们确定了自动化流水线具有决策价值的条件。具体而言,高度依赖模糊性的套件会产生不稳定的结论,而更简单的提示集则可能掩盖这些问题。 - ∙ 我们证明,来自LLM基准的平均分排行榜对于SLM是不可靠的,在合理的模糊性处理选择下,模型顺序会发生显著变化。 - ∙ 我们提供了可行的建议,以提高SLM安全/安全评估的稳健性。 论文其余部分组织如下:第2节回顾背景和相关工作。第3节描述我们的方法论和实验设置。第4节报告我们的发现并回答RQ1–RQ4,第5节讨论RQ5的启示和建议,第6节总结全文。 ## 2 背景与相关工作 ### 2.1 LLM时代的小语言模型 小语言模型并非简单的“前LLM”模型。早期的Transformer(如GPT-2)已经能够在不到十亿参数的规模上实现通用生成[41]。在LLM时代,SLM已发展成一种独特的部署选择:供应商和开源社区持续发布具有不同参数量的新模型,例如小于10亿和接近10亿参数的模型,它们以牺牲峰值能力为代价,换取更低的延迟、更低的成本和更便捷的设备端部署[17, 1]。最近的调查强调了它们日益增长的使用,因其可访问性、易于微调和宽松的许可证,使其非常适合隐私敏感和资源受限的应用[50, 39, 53]。 SLM的技术轨迹也与简单地“缩小”Transformer不同。在架构、效率、蒸馏和指令微调方面的进步旨在在严格的计算预算下保留有决策价值的行为,最近的调查越来越多地将SLM定位为更大系统的组成部分(例如,代理模型、护栏模型或与大模型协作的组件),而非独立助手[54, 7, 8, 53]。这些趋势使得基于基准的评估颇具吸引力,但也要求确保此类基准在输出更短、不那么流畅或更容易出错时仍然有效。 ### 2.2 安全-安全基准与AI治理 安全与安全基准的出现是为了应对在LLM中观察到的具体失败模式,包括有害指令遵循、越狱和对抗性提示、隐私泄露以及偏见或刻板印象的回答[55, 60, 26]。随着这些危害在操作层面变得相关,评估已从临时的红队示例发展为可重复使用的提示套件、风险分类法和标准化的评分协议。现代基准通常结合针对性的提示(以引发与安全、安全、隐私或偏见相关的行为)和评分方法,将开放式输出映射到可比较的结果[23, 32, 57, 27]。 与此同时,法规和治理增加了对可衡量安全证据的需求。《欧盟人工智能法案》要求对高风险AI系统进行风险管理,并满足准确性、鲁棒性和安全性要求[13]。NIST的《AI风险管理框架》将测量和评估作为可信赖AI开发的一部分[38]。中国的《生成式人工智能服务管理暂行办法》对生成式AI服务的数据使用、内容安全、隐私和透明度提出了要求[9]。虽然这些框架没有规定特定的基准,但它们提高了基准有效性的门槛:如果安全评估用于合规或采购决策,其分数必须准确反映预期的安全属性。 ### 2.3 评估框架与基于评判器的评分 HELM Safety v1.0 [24] 是一个安全评估框架,它标准化了基准套件和自动化评判配置,以提高模型和提示之间的可比性,而SALAD-Bench [27] 则围绕更广泛的安全分类法组织评估,涵盖细粒度类别。更广泛地说,自动化评估框架在基准内容和评分设计上有所不同:一些使用标量绝对评分来评估单个响应[58, 30],一些将成对偏好聚合成胜率或排名[28, 29],还有一些在可能的情况下依赖客观的真值或可验证的检查[59, 56, 40]。 HELM风格的安全评估在这个设计空间中占据了一个独特的点。它对开放式的安全提示应用基于评判器的评分,并将输出映射到一个粗略的三元尺度进行聚合[24]。虽然实用且在操作上有用,但先前的研究表明,LLM作为评判器的决策对流畅性、冗长度、格式和评判标准措辞很敏感[58, 30]。这些敏感性对SLM尤为重要,因为SLM的输出通常更短、不够稳健,且在复杂提示下难以解释[6, 45]。因此,三元标签可能不仅反映与安全相关的不确定性,还反映评估难度,从而使基准输出具有潜在的模糊性和不可靠性[25, 12]。 ## 3 方法论与测量设计 我们在实例级别评估*自动化安全评估流水线*,将每个提示与每个目标SLM配对。我们首先在安全和偏见基准上运行26个SLM,然后提取并分析提示、响应和模型级别的协变量。最后,我们使用这些对齐的记录检查模糊性、排名稳定性和元数据效应。 ### 3.1 SLM、基准测试套件与设置 我们评估了26个参数量从124M到4B不等、涵盖不同模型系列的SLM。SLM没有通用的参数量截止点,因为SLM这个术语通常是相对于前沿LLM使用的,通常指为更低延迟、更低成本、本地推理或资源受限部署而设计的模型[50]。我们选择了参数量高达4B的SLM,以便:(1)我们可以包括小型模型中相对更强大的变体,(2)我们可以覆盖更广泛的模型系列,(3)我们仍然将研究重点放在资源受限部署上,而非中等规模的LLM。该集合包括基础和指令微调模型,并涵盖多种分词器和架构配置,以支持模型元数据分析。附录表A2总结了我们分析中使用的模型。 我们在五套广泛采用的LLM基准测试套件上评估选定的模型。 - ∙ AirBench 2024 [57] 是一个符合法规和政策的安全基准,源自政府法规和公司政策,包含5,694个提示,涵盖314个细粒度风险类别。其多条款、基于政策的提示可能会增加对于不那么流畅或不够明确的SLM生成的模糊性。 - ∙ SALAD-Bench [27] 在更广泛的不安全和政策敏感行为分类法中评估安全,强调细粒度类别覆盖,我们的评估集中有21,318个提示。其多样化、通常具有多重约束的提示有助于测试当SLM输出简短、部分或难以解释时,基于评判器的评分是否保持稳定。 - ∙ HarmBench [32] 是一个用于自动化红队测试的标准化框架,用于衡量在不安全或对抗性提示下的有害响应和拒绝行为。在HELM Safety v1.0中,HarmBench套件对应于涵盖HarmBench四种行为类别的400个行为提示;结果应解释为适用于此HELM子集和评分协议[24]。 - ∙ 简单安全测试[52] 提供100个简短、明显不安全的提示,旨在作为快速的“下限”安全检查。我们使用与HarmBench [24]相同的评判器标签设置,并比较不同模型类别之间的模糊性。 - ∙ BBQ [46] 是一个多项选择基准,旨在衡量队列中的社会偏见。
相似文章
EvalDetectBench:用于测量前沿语言模型评估意识的基准
本文介绍了EvalDetectBench,这是一个用于测量前沿语言模型评估意识的开放基准和流水线,旨在解决现有方法中的偏差,以提升AI安全评估。
基于多传感器物理危害评估的大语言模型基准测试
该论文对五个大语言模型在多传感器物理危害评估中的表现进行了基准测试,结果发现,当多个传感器同时升高但均未达到各自安全限值时,所有被测试模型均未能发出预警信号,而在单传感器违规检测中则表现出近乎完美的准确性。
MCBench: 面向全模态大语言模型的多语境安全评估基准
MCBench是一个新基准,用于评估全模态大语言模型在视觉、音频和文本模态下的安全性。它包含1196个场景,并发现当前模型难以进行跨模态安全推理。
压力测试医学大语言模型揭示基准准确率之外的潜在安全病理
本文介绍了AI-MASLD,一个用于医学大语言模型的压力审计框架,揭示了基准准确率如何掩盖严重的安全故障,并展示了开放权重模型在安全维度上可以媲美或超越专有模型。
安全,还是仅仅是能力?对智能体安全基准的效度审计
本文对四个智能体安全基准(R-Judge、InjecAgent、AgentHarm、AgentDojo)在多个模型上进行了审计,表明它们的分数受能力混淆影响,指标存在伪影,且不同基准之间的排名相互矛盾,从而削弱了可互换的安全性声明。