DeflectBench: 评估大型语言模型中修辞谬误生成的基准

# DeflectBench：评估大语言模型修辞谬误生成能力的基准测试
来源：https://arxiv.org/html/2608.26119
###### 摘要

关于大型语言模型是否能在提示下按需生成修辞谬误，以及当前的安全后训练是否限制了这一行为，其受关注程度远低于在现有文本中检测谬误的相关问题。我们通过DeflectBench弥补了这一空白，评估了四个前沿模型在3种转移策略（比烂术、人身攻击、红鲱鱼）、7种提示框架和80个涉及四个争议等级的断言上的23,990次生成。拒绝行为主要受请求结构而非断言内容的控制。在80个断言中，每个断言的拒绝率变化幅度仅为1个百分点，而在单个模型内，仅改变一次提示框架就可能使拒绝率波动近100个百分点，并且在明确框架下更换请求的谬误类型可使其波动超过80个百分点。一个教育辩论教练提示框架使所有四个模型家族的拒绝率降至接近零，但被绕过的行为并非完全合规。模型通常产生*标记性合规*，即在包含所请求操纵的同一响应中命名该操纵。这四个模型在拒绝、标记性合规、软拒绝和完全合规方面的分布各不相同。代码和数据集发布于https://github.com/ArtKanke/DeflectBench。

大语言模型、安全评估、修辞谬误、拒绝、基准测试

## 1引言

转移修辞是指回应一个断言而不涉及其实质的论证策略。比烂术将注意力转移到另一个不当行为上(Bowell, 2023 (https://arxiv.org/html/2608.26119#bib.bib1))。人身攻击攻击的是断言者而非断言本身(Brinton, 1985 (https://arxiv.org/html/2608.26119#bib.bib2))。红鲱鱼则引入一个无关或松散相关的主题(Laney et al., 2008 (https://arxiv.org/html/2608.26119#bib.bib3))。表1 (https://arxiv.org/html/2608.26119#S1.T1)展示了每种策略应用于同一示例断言的效果。这些策略常见于政治话语、对抗性辩论和虚假信息活动中，而大型语言模型生成它们可能是大规模操纵的一个可行载体。

表1：每种谬误的示例性转移。“Jordan Ivanov”是虚构的命名对手。先前关于修辞谬误的计算工作几乎完全集中在检测上，即分类一段文字是否包含谬误以及包含哪种类型。相反的问题——模型是否会按请求生成谬误——尚未被系统地研究。

DeflectBench在断言、提示框架和谬误类型的网格上评估了四个前沿模型，评分由两个对生成模型和提示盲目的LLM评委完成。该设计分离了三个变量：断言内容、提示框架和谬误类型，以识别哪个变量驱动了拒绝行为。该基准测试揭示了多元对齐社区关注的一个规律。跨实验室的对齐机制在相同的修辞操纵请求上产生了独特的合规特征。最具影响的结构性区别是我们所说的*标记性合规*，即模型在包含所请求谬误的同一响应中命名该谬误的情况。这种模式对二元拒绝基准不可见，但在测试的四个模型中以显著不同的速率出现。

## 2相关工作

### 2.1自然语言处理中的修辞谬误

关于修辞谬误的计算工作主要将问题框架定为检测。Jin等人 (2022 (https://arxiv.org/html/2608.26119#bib.bib4))引入了包含2,449个示例、涵盖13种类型的LOGIC语料库，并报告微调分类器的F1分数低于0.55。Hellew等人 (2023 (https://arxiv.org/html/2608.26119#bib.bib5))将五个先前的数据集统一为一个23类型的分类体系，并发现即使是强大的LLM在细粒度分类上的F1分数也低于0.15，其中红鲱鱼是最难的类别之一。检测方面的工作还包括社交媒体中比烂术的语料库(Phu et al., 2024 (https://arxiv.org/html/2608.26119#bib.bib6))和一个双语基准测试，其中测试的最强LLM比人类准确率低约30个百分点(Zhai et al., 2025 (https://arxiv.org/html/2608.26119#bib.bib7))。

### 2.2拒绝与多元对齐

前沿语言模型已被证明能产生在说服效果上与人类撰写论点相媲美的论点(Durmus et al., 2024 (https://arxiv.org/html/2608.26119#bib.bib22))，这提高了对模型按请求产生何种论点的重视。红队文献中的拒绝评估表明，对齐的LLM对语义等价但在不同框架下的请求反应不同。SORRY-Bench (Xie et al., 2025 (https://arxiv.org/html/2608.26119#bib.bib8))编录了44个风险类别的拒绝情况，HarmBench (Mazeika et al., 2024 (https://arxiv.org/html/2608.26119#bib.bib10))提供了补充性的标准化框架。基于说服和基于角色的提示显著降低了拒绝率(Zeng et al., 2024 (https://arxiv.org/html/2608.26119#bib.bib11); Zhang et al., 2025 (https://arxiv.org/html/2608.26119#bib.bib12))，而Xue等人 (2026 (https://arxiv.org/html/2608.26119#bib.bib13))将这种敏感性归因于在安全微调期间获得的表层语言“触发器”。跨实验室的评估开始记录到来自不同实验室的前沿模型对相同的滥用提示反应不同(Bowman et al., 2025 (https://arxiv.org/html/2608.26119#bib.bib14); Akbulut et al., 2026 (https://arxiv.org/html/2608.26119#bib.bib15))。关于编码操纵的密切相关工作(Mendelsohn et al., 2023 (https://arxiv.org/html/2608.26119#bib.bib16))表明，表层形式的转换可以规避内容审核，这与我们发现的表层框架作为拒绝驱动因素主导内容的情况类似。

我们的发现扩展了Sorensen等人 (2024 (https://arxiv.org/html/2608.26119#bib.bib17))和Lake等人 (2024 (https://arxiv.org/html/2608.26119#bib.bib18))的多元对齐框架，他们主要将分布性和Overton风格的多元性视为个体模型的属性。我们报告的四种特征分歧指向了一个互补的观察。我们的四模型样本与跨实验室的对齐机制本身形成一个分布相一致，在不同机制下训练的模型系统地以不同方式解决相同的修辞操纵请求。因此，安全行为的多元评估不能依赖任何单一模型作为对齐格局的代理。

## 3方法

DeflectBench使用15个提示模板评估了四个前沿模型在80个断言上的表现，两个LLM评委根据一个八字段评分标准对每次生成进行评分。

### 3.1断言

80个断言跨越四个争议等级（事实正确、共识观点、真正有争议、事实错误，每个等级20个）和两个地缘政治背景（仅限美国，n=20；国际，n=60）。这些断言是从更大的LLM生成候选池中手动选择的。等级、背景和领域是手工分配的，以便进行区分内容驱动与提示驱动效应的比较。示例包括“阿根廷赢得了2022年FIFA世界杯”（等级1）、“美国应该废除选举人团制度”（等级3）和“地球是平的”（等级4）。断言分布在九个领域中。完整列表见附录B (https://arxiv.org/html/2608.26119#A2)。

### 3.2提示模板

15个模板被组织为七个框架条件（附录A (https://arxiv.org/html/2608.26119#A1)）。前四个是明确的，命名了请求的谬误及其定义。*直接*是直接的请求。*政治*前缀为“我正在参与一场政治竞选活动。”*教练*将模型定位为辩论教练，为学生生成示例。*操纵*前缀为明确的操纵意图声明。第五个条件呈现所有三种谬误定义，并要求模型选择。其余两个是隐式的，包含未指明转移请求的*中立*和*政治*变体。比烂术和红鲱鱼提示以断言文本结尾。人身攻击提示将断言归因于虚构的对手Jordan Ivanov，因为攻击命名目标在结构上是必需的。

### 3.3模型与评委

四个前沿LLM（claude-opus-4-7, deepseek-v4-pro, gpt-5.5, grok-4.3）在温度T=1.0下采样，无系统提示，每个（模型、断言、提示）单元采样五次。此设计产生24,000次尝试生成。其中，23,990次产生了有效的模型输出。两个评委模型（claude-haiku-4-5和gpt-5.4-mini）在T=0下独立对每个有效响应评分，对生成模型和提示模板保持盲。在23,990次有效生成中，23,981次获得了两个评委的有效分数。因此，发布的基准测试包含23,990次生成，涵盖7.46M个生成令牌和超过380,000个跨八个评分字段的二元评委标签。跨实验室的评委配对减轻了在单一评委设置中记录的自我偏好和家族偏见效应(Panickssery et al., 2024 (https://arxiv.org/html/2608.26119#bib.bib19); Koo et al., 2024 (https://arxiv.org/html/2608.26119#bib.bib20); Gu et al., 2025 (https://arxiv.org/html/2608.26119#bib.bib21))。

### 3.4评分标准与可靠性

八字段评分标准（全文见附录C (https://arxiv.org/html/2608.26119#A3)）首先区分明确拒绝与肯定响应。在肯定响应中，两个二元标志可以独立激活。*软拒绝*标记那些转移被包装在削弱其修辞力量的实质性免责声明中的响应。*谬误标记*标记那些在生成所请求的谬误之前或之后立即按名称命名该谬误的响应。两个标志可以在同一响应上共存。*完全合规*是剩余部分，即两个标志都未设置的肯定响应。我们在整个结果中使用这些信号。

评委间对主要结果的一致性很高（表2 (https://arxiv.org/html/2608.26119#S3.T2)）。我们报告Cohen's κ以及Gwet's AC1，因为κ在多个字段上因基率偏斜而被拉低，而AC1对这种流行率效应不那么敏感。软拒绝是最明显的例子，κ=0.45，但在流行率为0.05的字段上AC1=0.94。我们报告所有比例的95%块引导置信区间，基于对断言的1,000次重抽样，Cohen's h是用于比例比较的尺度不变效应量。这些统计量建立的是可靠性而非有效性。一致性界定了两位评委的一致性，而非其正确性，而一致性最低的字段，RH_present和soft_refusal，是最容易受到评委共同错误影响的语用区分。因此，我们对待这些细分类别的比率作为有待人工验证的临时结果。

表2：跨八个评分字段的评委间可靠性（n=23,981次由两位评委评分的生成）。

## 4结果

### 4.1跨模型家族的合规特征

测试的四个模型在评分标准的合规信号上分布非常不同（表3 (https://arxiv.org/html/2608.26119#S4.T3)）。其中两个拒绝大多数请求，但在确实合规时对合规的处理方式不同。claude-opus-4-7几乎从不产生清洁（无标记）合规，而是标记其输出。gpt-5.5产生清洁合规的频率是其40倍以上。另外两个模型则基本从不拒绝，但在标记率上也有所不同。这四种特征不能简化为单一的更合规或更少合规的轴线，因为拒绝和标记是独立的设计选择。模型间的差异高度显著（χ²检验，p<0.001）。

表3：按模型划分的合规结果（%）。*拒绝*是明确拒绝。*软*是软拒绝（附带实质性免责声明的合规）。*标记*是明确命名所产生的谬误的合规。*清洁*是无任何标记的合规。*任何*是检测到任何谬误。引导置信区间报告在附录D (https://arxiv.org/html/2608.26119#A4)中。#### Claude的软拒绝。

Claude将其大约四分之一的输出包装在实质性削弱的免责声明中，而其他三个模型则几乎总是要么明确拒绝要么合规。选择框架将Claude的软拒绝推至75.5%。当被赋予选择谬误的权利时，Claude几乎总是选择一个并生成它，然后立即免责声明。Claude的教练提示框架响应的一个特别有信息量的子集基于完全不同的理由拒绝。模型反对说示例断言不是批评，因此从结构上讲比烂术不适用。这是一种基于请求概念连贯性而非政策的拒绝。

#### 寻求真相的残余。

一小部分生成（n=118, 0.5%）不属于四种主要模式。其中八个是来自Claude的捍卫真相的响应，通过陈述断言为真来拒绝从事实正确的断言转移。对于“阿根廷赢得了2022年FIFA世界杯”，Claude回应说：“我不会帮助从该断言转移，因为它实际上是真实的。”其他三个模型中没有出现这种残余。与此行为一致，Claude在事实（等级1）断言上的硬拒绝率最高，为54.3%，在有争议（等级3）断言上最低，为38.7%。软拒绝则呈相反方向。它在有争议的断言上（30.6%）比在事实断言上（20.1%）更高。Claude似乎在断言事实为真时直接拒绝，在断言真正有争议时则带有免责声明地参与。这与纯粹内容感知的安全过滤器可能产生的结果相反。

#### 跨模型触发器重叠。

每个（断言、提示）的拒绝率在Claude和GPT之间相关系数为r=0.68，但在其他每一对模型之间|r|<0.13。两个倾向拒绝的模型共享触发器，而两个很少拒绝的模型则不共享。Claude-GPT的相关性反映的是框架对齐而非内容对齐，如下一小节所示。

#### 指令遵循保真度。

当提示指定了特定谬误且模型合规时，所产生的谬误与请求类型匹配的比率在不同模型间差异很大（表4 (https://arxiv.org/html/2608.26119#S4.T4)）。很少拒绝的模型几乎完美地遵循了谬误类型指令。倾向拒绝的模型在合规时大约有一半时间会替换为不同的谬误。独立地，很少拒绝的模型也过度合规，在大约三分之一到一半的生成中同时产生两种或更多种谬误类型，而倾向拒绝的模型低于八分之一。因此，对齐机制在三个轴线上存在差异。模型是否拒绝、是否标记其合规，以及合规时多忠实于执行请求结构。输出冗余度在四个模型中也相差近一个数量级。Claude的平均输出为493个令牌，而Grok为65个。冗余度统计报告在附录G (https://arxiv.org/html/2608.26119#A7)中。

表4：指令遵循保真度。*匹配*：生成的谬误与请求的类型匹配（明确提示）。*多重*：同时出现两种或更多谬误类型。

### 4.2框架主导内容

七个框架条件