说服策略有多重要？来自慈善对话的LLM标注证据

# 说服策略有多重要？来自慈善对话的 LLM 标注证据
来源：https://arxiv.org/html/2604.19783
###### 摘要

哪些说服策略（如果有的话）与捐赠行为相关？回答这一问题需要对整个语料进行细粒度策略标注，并对多重比较进行统计校正。我们使用三个开源大语言模型（Qwen3:30b、Mistral-Small-3.2、Phi-4）对 1,017 段对话中的全部 10,600 条说服者回合进行标注，这些对话来自 PersuasionForGood 语料库（Wang 等，2019），捐赠结果可直接观测。我们采用包含 41 种策略、11 个类别的分类体系。仅策略类别对捐赠结果的方差解释力极低（伪 R²≈0.015，三位标注者一致）。“内疚诱导”是唯一与*更低*捐赠率显著相关的策略（Δ≈-23 个百分点），该效应在三个模型中均得到复现，尽管模型间一致性仅中等。“互惠”是最稳健的正向相关策略。目标情感与兴趣可预测是否捐赠，但与捐赠金额最多只有弱相关。研究结果表明，仅靠策略识别不足以解释说服效果，基于内疚的诉求在亲社会语境中可能适得其反。我们公开发布完整标注语料库。

关键词：说服策略、捐赠对话、LLM 标注、情感分析、PersuasionForGood

\\NAT@set@cites

说服策略有多重要？来自慈善对话的 LLM 标注证据  
Tatiana Petrova††感谢：将发表于第 15 届语言资源与评估会议（LREC 2026）“社会语境与 NLP-心理学整合研究社会互动”研讨会（SoCon-NLPSI），西班牙马略卡岛，2026 年 5 月。, Stanislav Sokol, Radu State  
卢森堡大学安全、可靠与信任跨学科中心（SnT）  
{tatiana.petrova, radu.state}@uni.lu, [email protected]  
摘要内容

## 1 引言

慈善捐赠对话是研究说服的天然场景：说服者试图让目标捐钱，结果（是否捐赠、捐多少）可直接观测。PersuasionForGood 语料库（Wang 等，2019）通过 Amazon Mechanical Turk 收集了 1,017 段此类对话，说服者尝试让目标将部分任务报酬捐给 Save the Children。明确哪些策略有效或有害，可为亲社会对话系统设计和慈善筹款培训提供依据。

后续研究提升了策略分类准确率（Saha 等，2021），分析了目标抗拒（Tian 等，2020），但哪些策略与捐赠结果统计相关仍仅部分回答。Wang 等（2019）在 252 段对话、10 种策略上通过逻辑回归检验策略-捐赠关联，仅“捐赠信息”显著（p<0.05），未校正多重比较。样本有限（占语料 29%）、策略方案仅 10 种，且缺乏多重检验校正，需更全面分析。据我们所知，尚无研究在全语料、细粒度分类并校正多重比较的前提下检验单个策略-结果关联。

我们填补该空白：1）基于 Cialdini（1984）影响力六原则与 Marwell & Schmitt（1967）顺从获得策略，构建含 41 种策略、11 类别的层级分类体系；2）用三个开源 LLM（Qwen3:30b 为主标注者，Mistral-Small-3.2 与 Phi-4 作稳健性检验）标注全部 10,600 条说服者回合，并用 Qwen3:30b 单独标注 10,332 条目标回合（情感与兴趣），遵循当前最佳实践；3）进行多重校正的双变量检验与多变量逻辑回归，评估策略-捐赠关联。贡献包括：语料级策略-捐赠关联证据（“内疚诱导”反效果、策略类别预测力有限）、三模型稳健设计，以及覆盖全部 1,017 段对话的完整标注资源。

## 2 相关工作

#### PersuasionForGood 与 NLP 中的说服研究

Wang 等（2019）引入该语料库，提出 10 策略标签（如逻辑诉求、情感诉求、可信度诉求）及 RCNN 分类器。Saha 等（2021）用 BERT 模型提升分类性能；Tian 等（2020）分析目标抗拒策略；Chen & Yang（2021）提出在线场景 8 策略弱监督识别。

#### 说服策略分类体系

我们的体系基于 Cialdini（1984）六原则与 Marwell & Schmitt（1967）16 顺从策略，补充恐惧诉求、框架与情绪操控研究，最终 41 策略归入 11 类别，支持类别与细粒度策略两级分析（见 3.1 节）。

#### LLM 作为标注者

近期指南建议测试多模型，将模型选择视为研究者自由度（Gilardi 等，2023；Pangakis 等，2024；Carlson & Burbano，2025；Abdurahman 等，2025）；我们遵循该做法（见 3.2 节）。

## 3 方法

### 3.1 分类体系

从 Cialdini（1984）影响力原则与 Marwell & Schmitt（1967）顺从策略出发，补充恐惧诉求、框架与情绪操控研究，初步得 45 候选策略。试标注发现部分策略难以区分（如道德与价值诉求重叠）。经迭代合并与精炼，最终 41 说服策略归入 11 类别，外加 9 个对话管理标签（如问候、确认）。每策略附文本定义、特征标记与决策规则（见开源代码）。

最常见说服类别为“规范/道德/价值”（n=1,331，占 12.6%），其次为“理性/影响诉求”（9.2%）与“框架与呈现”（7.3%）。公开胁迫策略（威胁/压力、紧迫/稀缺）几乎缺席，合计仅 0.2%。“内疚诱导”虽具心理操控性，因通过道德义务而非直接胁迫运作，归入“规范/道德/价值”。

图 1：11 个说服策略类别分布（Qwen3:30b）。每柱显示该类别被分配的回合数；百分比为占全部 N=10,600 说服者回合的比例。对话管理回合（44.0%）未显示。

### 3.2 标注流程

我们使用本地 Ollama 部署的三个开源 LLM 标注全部 10,600 条说服者回合：Qwen3:30b（阿里巴巴；主标注者）、Mistral-Small-3.2（Mistral AI）、Phi-4（微软，14B）。选模标准：1）来自不同开发者（阿里、Mistral、微软），降低单一训练管线偏差风险，符合 Carlson & Burbano（2025）与 Abdurahman 等（2025）的稳健性检验设计；2）全开源权重，可本地复现，无需专有 API；3）参数量差异（Phi-4 14B 与 Qwen3 30B）可检验大模型容量是否驱动结果；表 4 显示关键效应跨模型尺寸稳健。Qwen3:30b 被指定为主标注者，因其对全部 10,600 回合无报错分配有效标签，各类别分布非退化（Mistral 对“框架与呈现”分配<1%），且与金标准宏观一致率最高。

三模型共用两级层次提示：系统消息设定为“层级说服策略分类系统”；用户消息提供 1）待分类说服者回合，2）最多 5 轮上文作为语境，3）完整类别→策略层级及定义。模型先选父类别，再选具体策略，返回结构化 JSON。温度设为 0.1，确保近确定性输出。

我们还用 Qwen3:30b 单独标注全部 10,332 条目标（被说服者）回合，维度为*情感*（负/中/正，编码 −1,0,+1）与*捐赠兴趣*（不感兴趣/中立/感兴趣，编码 0,1,2），捕捉目标对捐赠话题的参与程度，独立于情感色彩：回合可在情感中性时仍表现对慈善的好奇或考虑捐赠。我们将目标情感与兴趣均值作为*协变量*而非主预测变量：二者在对话中测量，反映目标对说服的即时回应，而非先赋倾向；观察数据无法确立策略、目标回应与捐赠间的因果方向（见局限）。

### 3.3 标注质量

我们按 LLM 标注最佳实践（Pangakis 等，2024）在两级评估质量。尚无 41 标签说服策略任务的人类一致率研究；人类天花板未知。

#### 跨体系验证

我们与 Wang 等（2019）金标准在 300 段对话（3,047 回合）上比较。因 41 策略与 10 策略结构不同，我们将其映射至三宏观类别（*说服诉求*、*说服询问*、*非策略*），得中等一致（Cohen’s κ=0.507，宏观 F1=0.703；Landis & Koch 1977 量表的“中等”）。低于 Wang 等人类 α>0.70，但为零样本无训练结果。

#### 专家核验

一位说服对话专家分层抽样 100 回合，核验 LLM 标注，84 例正确（84%）。16 例分歧多为语义相邻策略边界（如情感诉求 vs. 共情诉求，道德诉求 vs. 自我感觉诉求）。因属核验而非独立盲标，报告准确率而非 κ。

#### 模型间一致

在全部 10,600 回合上，三模型策略级 pairwise κ 0.38–0.54（“一般”至“中等”），类别级 0.44–0.62。宏观（说服 vs. 对话管理）κ 0.66–0.75，原始一致 84–88%。三模型精确匹配：策略 34.1%，类别 47.5%。模型在细粒度标签（如理性诉求 vs. 可信度诉求）分歧最大，但在功能分类上趋同。关键下游发现，特别是“内疚诱导”反效果，在三位标注者中均复现（4.7 节）。

## 4 分析与结果

我们在两级粒度分析。类别级（4.1 节）检验对话中 11 策略类别的出现与捐赠结果关联；策略级（4.2–4.3 节）仅检验出现 ≥20 段的策略（n≥20），确保卡方检验可靠；41 策略中 22 满足（完整计数见附录 A）。两类分析均用卡方检验，经 Bonferroni 与 Benjamini-Hochberg（FDR）多重校正，随后多变量逻辑回归评估独立效应（4.5 节）。目标情感与兴趣作为协变量（3.2 节）；与捐赠结果的双变量关联见 4.4 节。

总体捐赠率 53.6%（545/1,017 段），平均捐赠额 $2.17（仅限捐赠者 $4.05）。每段平均约 10 个说服回合，通常使用 4–5 种不同策略（均值 4.4，SD 1.6，范围 0–10）；此处说服本质为多策略。下文结果除特别说明均用 Qwen3:30b（主标注者）。

### 4.1 策略类别独立预测捐赠不显著

用卡方检验评估对话中各策略类别出现与捐赠结果关联，Bonferroni 校正 11 次比较。11 类别无一显著（均 p_Bonf>0.05）。最接近为承诺/一致性（p_Bonf=0.146），其次理性/影响诉求（p_Bonf=0.280）。该零结果在三标注者中均复现（表 4）。