真相还是诡辩？LoFa：大语言模型面对逻辑谬误的鲁棒性基准

# 真相还是诡辩？LoFa：大型语言模型对抗逻辑谬误的鲁棒性基准测试
来源：https://arxiv.org/html/2606.31039

Xudong Shen\*,1,2, Li Yuan\*,2, Ye Chen2, Xin Wu2, Yi Cai2, Zhiyong Wu†,1  
1清华大学深圳国际研究生院  
2华南理工大学  
shenxudong50@gmail\.com, zywu@sz\.tsinghua\.edu\.cn  

###### 摘要
尽管大型语言模型（LLMs）展现出强大的语义能力，但它们对逻辑谬误等操纵性语言模式的抵抗能力仍然是一个尚未充分探索的领域。以往的研究主要关注LLMs识别或分类谬误的能力，但在说服性语境下，模型对这些谬误的鲁棒性仍基本处于未探究状态。为弥补这一空白，我们引入了**LoFa**（逻辑谬误）基准测试，用于全面评估LLMs对抗谬误的鲁棒性。我们首先通过多智能体流水线构建了LoFa数据集，将事实性问题与谬误性论点配对。然后，我们开发了一个多轮辩论框架，用于评估模型在持续攻击下的韧性。此外，为了将鲁棒性与模型固有的知识局限性分离开来，我们提出了一种新指标**LFR@k**（逻辑谬误抵抗能力），用于量化性能。我们的实验表明，不同LLMs对不同类型谬误的鲁棒性存在差异，突显了各模型独特的脆弱性特征。

真相还是诡辩？LoFa：大型语言模型对抗逻辑谬误的鲁棒性基准测试
Xudong Shen\*,1,2, Li Yuan\*,2, Ye Chen2, Xin Wu2, Yi Cai2, Zhiyong Wu†,1  
1清华大学深圳国际研究生院  
2华南理工大学  
shenxudong50@gmail\.com, zywu@sz\.tsinghua\.edu\.cn  
**footnotetext:同等贡献。††footnotetext:通讯作者。††footnotetext:数据集和评估代码可在https://github.com/xdshen-ai/LoFa获取。**

## 1 引言
LLMs的主动逻辑推理能力已得到广泛探索，并被证明令人印象深刻（Cheng et al., 2025a (https://arxiv.org/html/2606.31039#bib.bib45); Liu et al., 2025 (https://arxiv.org/html/2606.31039#bib.bib31); Zhang et al., 2026a (https://arxiv.org/html/2606.31039#bib.bib41), b (https://arxiv.org/html/2606.31039#bib.bib40); Xia et al., 2025 (https://arxiv.org/html/2606.31039#bib.bib32)）。然而，其推理能力中一个关键方面仍未被充分探索：当面对带有逻辑谬误的外部说服性攻击时，模型的被动抵抗能力（Petric, 2020 (https://arxiv.org/html/2606.31039#bib.bib10)）。

参见图说明
图1：多阶段评估框架概览。该过程包括两个初始筛选阶段以确保测试有效性，随后是核心的谬误驱动攻击和认知检查。

在现实世界的论辩中，逻辑谬误（Petric, 2020 (https://arxiv.org/html/2606.31039#bib.bib10)）常被用作说服工具来操纵推理。图1 (https://arxiv.org/html/2606.31039#S1.F1) 展示了这一现象。图2 (https://arxiv.org/html/2606.31039#S1.F2) (a) 显示了一个LLM通过访问其参数知识正确回答科学问题。相反，图2 (https://arxiv.org/html/2606.31039#S1.F2) (b) 展示了模型如何被一个论点所动摇，从而违背自身知识，这是一个典型的**轻率概括**（Sourati et al., 2023 (https://arxiv.org/html/2606.31039#bib.bib38)）例子，例如“由于沙子主要是二氧化硅，硅必定是地壳中的主要元素”。虽然人类可以学会识别这些有缺陷的模式，但问题在于LLMs如何应对这些模式至关重要。当前研究人员已开始探索LLMs如何处理逻辑谬误（Helwe et al., 2024 (https://arxiv.org/html/2606.31039#bib.bib48); Habernal et al., 2017 (https://arxiv.org/html/2606.31039#bib.bib46); Lee et al., 2024 (https://arxiv.org/html/2606.31039#bib.bib22)）。然而，这些研究侧重于模型对给定文本中谬误的**分类**或**识别**能力。虽然这种“识别”范式提供了对LLMs理解谬误定义的直接衡量，但它未能捕捉到模型成为谬误说服力被动目标时的真正韧性。因此，最近的研究开始通过设计模型被动接受谬误论点的场景来评估LLM鲁棒性。例如，Payandeh et al. (2024 (https://arxiv.org/html/2606.31039#bib.bib47)) 利用了一个三角色辩论设置（说服者、辩论者、主持人），并证明了作为辩论者的LLMs经常被谬误论点所动摇，频繁改变其原始立场。虽然他们的辩论框架提供了宝贵的初步见解，但其对非绝对、有争议性话题（例如，“学校上课时间应该更长吗？”）的依赖引入了一个关键缺陷，削弱了衡量谬误真实危害的能力。如图3 (https://arxiv.org/html/2606.31039#S1.F3) (a) 所示，基于“无客观真相”话题的辩论无法区分真正的逻辑失败与仅仅在同等有效的观点之间转换。模型可以从一种立场被摇摆到另一种立场再返回，表明说服效果是任意的，而谬误的认知影响从根本上仍然无法量化。

为解决这一局限性，我们引入了**LoFa**，一个旨在更严格评估LLM对谬误抵抗能力的综合基准测试。LoFa数据集的核心原则是，每个项目都基于一个**独特的、科学可验证答案**的问题。这种设计允许任何诱导的认知转变被量化为从正确状态到错误状态的可测量转换，如图3 (https://arxiv.org/html/2606.31039#S1.F3) (b) 所示。

参见图说明
图3：从模糊意见到可测量误差：客观真相对谬误评估的必要性。

然后，我们开发了一个多轮评估框架来评估模型在持续攻击下的韧性，如图1 (https://arxiv.org/html/2606.31039#S1.F1) 所示。我们提出了**LFR@k**，一个新指标，旨在将推理失败与基线知识差距分离，并全面衡量模型在持续攻击下的韧性。与之前依赖**主观辩论**的框架不同，这种客观依据使我们能够使用多样化的逻辑谬误集，并详细分析由此产生的失败模式。我们的实验揭示了LLMs的一个显著脆弱性：尽管它们有能力识别结构性的推理缺陷，但它们对**分心和扭曲**类谬误高度敏感。理解这种失败模式可能为未来设计更可靠和值得信赖的AI系统提供有价值的见解。

总之，本文做出以下贡献：
1. 1. 我们开创性地、系统地、全面地研究了**逻辑谬误抵抗能力**，将其确立为LLM鲁棒性中一个关键但此前未被充分探索的方面。
2. 2. 我们引入了**LoFa**，一个用于此项研究的新综合基准测试。**LoFa**包括一个基于客观真相的数据集和一个新的评估指标**LFR@k**。
3. 3. 我们的大量实验表明，逻辑谬误抵抗能力主要受三个关键因素影响：模型规模、模型结构和谬误类型。

## 2 相关工作
我们的工作为LLM鲁棒性这一关键领域做出了贡献（Tao et al., 2024 (https://arxiv.org/html/2606.31039#bib.bib34)），研究了一种微妙的对抗攻击形式（Zou et al., 2023 (https://arxiv.org/html/2606.31039#bib.bib25); Wei et al., 2023 (https://arxiv.org/html/2606.31039#bib.bib26); Min et al., 2023 (https://arxiv.org/html/2606.31039#bib.bib49)）：即策略性地使用逻辑谬误来操纵模型推理。为定位我们的贡献，我们将我们的基准测试**LoFa**置于三个已建立的研究范式的交叉点上，这些范式将在下文进行回顾：谬误检测、逻辑问答和谬误驱动辩论。表1 (https://arxiv.org/html/2606.31039#S2.T1) 提供了LoFa与这些领域关键数据集的比较总结，突出了其独特的特征组合。

**谬误检测。** 大量研究聚焦于谬误检测任务，其中MAFALDA（Helwe et al., 2024 (https://arxiv.org/html/2606.31039#bib.bib48)）和Logic（Lee et al., 2024 (https://arxiv.org/html/2606.31039#bib.bib22)）等基准测试是突出例子。这些数据集通常向LLMs提供包含逻辑错误的文本，并要求它们识别或分类所呈现的特定谬误类型。

**逻辑问答。** 另一条工作线通过基于可验证知识的问答来评估LLMs的逻辑推理能力。像ARGOTARIO（Habernal et al., 2017 (https://arxiv.org/html/2606.31039#bib.bib46)）和LogicBench（Parmar et al., 2024 (https://arxiv.org/html/2606.31039#bib.bib24)）这样的数据集评估模型基于事实或逻辑结构化信息得出正确结论的能力。**LoFa** 通过将其所有提示基于科学问答格式来整合这一原则，确保每个问题都有单一的、客观的正确答案。这为我们的对抗性说服尝试提供了一个稳定且明确的基础。

**谬误驱动辩论与说服。** 我们的评估在方法论上受到LOGICOM（Payandeh et al., 2024 (https://arxiv.org/html/2606.31039#bib.bib47)）的启发，该工作开创了一个影响LLM立场的辩论框架。我们通过将其主观的、开放式的主题替换为客观的科学问答格式来显著推进这一范式，以确保严格的评估。

| 数据集 | QA | 辩论 |
|----------|----|------|
| LogicBench | 0 | ✗ | 推理 |
| MAFALDA | 23 | ✗ | 检测 |
| Logic13 | ✗ | ✗ | 检测 |
| LOGICOM | 8 | ✗ | 鲁棒性 |
| ARGOTARIO | 5 | ✓ | 推理 |
| \rowcolorlightgreen LoFa | 10 | ✓ | 鲁棒性 |

**表1：LoFa与现有谬误相关数据集的比较**

## 3 LoFa数据集的构建

参见图说明
**图4：用于构建LoFa数据集的带有迭代质量保证的多智能体流水线概览。**

### 3.1 逻辑谬误的选择
逻辑谬误的分类是一个跨学科的努力，借鉴了经典逻辑学（Ricco, 2007 (https://arxiv.org/html/2606.31039#bib.bib36)）、语言学（Sourati et al., 2023 (https://arxiv.org/html/2606.31039#bib.bib38)）和认知心理学（Abd-Eldayem, 2023 (https://arxiv.org/html/2606.31039#bib.bib37)）的传统。基于先前研究中已建立的分类型（Bennett, 2012 (https://arxiv.org/html/2606.31039#bib.bib14); Helwe et al., 2024 (https://arxiv.org/html/2606.31039#bib.bib48); Robbani et al., 2024 (https://arxiv.org/html/2606.31039#bib.bib33)），我们审查并合并了概念重叠显著的谬误。这一过程最终产生了10种类型，这些类型既代表了常见的缺陷推理，又非常适合于构建有说服力的对抗性攻击。为清晰起见，这些谬误用其首字母缩写表示，并分为两类——**分心和扭曲（第一类）** 和**推理/证据缺陷（第二类）**，详见表2 (https://arxiv.org/html/2606.31039#S3.T2)。每种类型的定义以及分类理由见附录LABEL:tab:explanationTable。

**表2：带分类和缩写的谬误**

| 第一类 | | 第二类 | |
|----------|----|----------|----|
| 全称 | 缩写 | 全称 | 缩写 |
| 稻草人 | SM | 轻率概括 | HG |
| 歧义 | Eq | 滑坡论证 | SS |
| 人身攻击 | AH | 虚假两难 | FD |
| 虚假原因 | FC | 诉诸权威 | AA |
| 转移话题 | RH | 循环论证 | CR |

### 3.2 数据字段设计
我们利用并改编了高质量的Farm数据集（Xu et al., 2024 (https://arxiv.org/html/2606.31039#bib.bib44)），该数据集最初设计用于研究错误信息。Farm数据集从几个已建立的基准测试中整理问题，确保了任务格式的混合：三个多项选择题（MCQ）数据集（Natural Questions（Kwiatkowski et al., 2019 (https://arxiv.org/html/2606.31039#bib.bib18)）和TruthfulQA（Lin et al., 2022 (https://arxiv.org/html/2606.31039#bib.bib19)））以及一个布尔值数据集（BoolQ（Clark et al., 2019 (https://arxiv.org/html/2606.31039#bib.bib17)））。这些来源的一个关键优势是所有问题均源自**Wikipedia**文章，因此满足我们关于具有唯一、科学可验证答案的严格标准。然后，我们提取关键信息来构建结构化数据项。图4 (https://arxiv.org/html/2606.31039#S3.F4) 提供了该数据项及其核心字段的具体示例。为标准化评估，我们也采用了Farm数据集提供的MCQ格式。

### 3.3 谬误论点生成
受先前关于LLM驱动内容生成的工作启发（Payandeh et al., 2024 (https://arxiv.org/html/2606.31039#bib.bib47); Cheng et al., 2025b (https://arxiv.org/html/2606.31039#bib.bib42); Yuan et al., 2025 (https://arxiv.org/html/2606.31039#bib.bib43), 2026 (https://arxiv.org/html/2606.31039#bib.bib50)），我们设计了一个复杂的多智能体流水线来构建高质量的谬误论点，如图4 (https://arxiv.org/html/2606.31039#S3.F4) 所示。该流水线以顺序、装配线的方式运行，包含四个不同的智能体。最初，一个**检索器**（\(\mathcal{A}_{retr}\)）和一个**伪科学家**（\(\mathcal{A}_{pseu}\)）并行工作，生成一个包含真实事实和伪造事实的混合上下文。然后，这个丰富的上下文被传递给**谬误编写者组**（\(\mathcal{A}_{\mathcal{W}}\)），一组专门的智能体，它们构建候选的谬误论点。最后，每个候选论点都经过由**注释器**（\(\mathcal{A}_{anno}\)）管理的严格迭代验证和细化循环，以确保其质量和有效性。每个数据条目的生成过程由一个结构化数据项\(D\)启动。该项目正式定义为一个元组：
\[
D = (Q, S, R_c, R_t, C_f)
\]
其中\(Q\)和\(S\)指定问题和可验证信息的来源URL；\(R_c\)和\(R_t\)构成**正确**和**目标错误**答案选项；\(C_f\)表示针对\(R_t\)的**虚假声明**。

该流水线利用数据项\(D\)生成有说服力的论点。过程从两个并行的上下文收集智能体开始。检索器智能体\(\mathcal{A}_{retr}\)利用Wikipedia-API从给定的\(S\)中提取真实事实\(\mathcal{F}_{true}\)。同时，由DeepSeek-R1（Guo et al., 2025 (https://arxiv.org/html/2606.31039#bib.bib21)）体现的伪科学家智能体\(\mathcal{A}_{pseu}\)伪造可信但虚假的“伪事实”\(\mathcal{F}_{forged}\)，以支持虚假声明\(C_f\)。这些过程形式化为：
\[
\begin{aligned}
\mathcal{F}_{true} &= \mathcal{A}_{retr}(S); \\
\mathcal{F}_{forged} &= \mathcal{A}_{pseu}(Q, C_f)
\end{aligned}
\]
这种真实与虚假信息的混合上下文为构建复杂的论点提供了必要材料。然后，该上下文作为输入提供给\(\mathcal{A}_{\mathcal{W}}\)，一组专门的智能体\(\mathcal{A}_{\mathcal{W}} = \{\mathcal{A}_{w,1}, ..., \mathcal{A}_{w,10}\}\)，生成候选论点。每个编写者智能体\(\mathcal{A}_{w,j} \in \mathcal{A}_{\mathcal{W}}\)的任务是构建一个有说服力的论点\(P_j\)，该论点融入其分配的谬误类型\(\phi_j\)。每个\(\mathcal{A}_{w,j}\)的功能因此为：
\[
P_j = \mathcal{A}_{w,j}(\mathcal{F}_{true}, \mathcal{F}_{forged}, C_f, \phi_j)
\]