DiPS：面向高风险说服主体的对话策略选择

# DiPS：高风险说服场景下的对话策略选择

## 来源：https://arxiv.org/html/2607.01557

Tianyi Zhang∗, Mousumi Das†††感谢标注表示同等贡献‡, Abrar Anwar, Jesse Thomason, David Traum

University of Southern California  
\{tzhang62, mousumid, abrar\.anwar, jessetho, traum\}@usc\.edu

###### 摘要

大型语言模型（LLMs）在高风险说服场景中常难以胜任。由于每个人的个性和顾虑各不相同，需要量身定制的策略，而非一种适用于所有人的方法。为应对这一挑战，我们聚焦于消防疏散场景——其中操作员需说服居民撤离——作为高风险说服领域，并提出**DiPS**（对话策略选择，Dialogue Policy Selection），一种基于Q学习的框架，用于根据不断变化的对话上下文动态选择说服策略。具体来说，我们训练一个评论家（critic），使其以最大化撤离成功概率为目标，在每一轮对话中根据居民的最新发言选择一项说服策略。随后，我们在模拟环境与真人互动中，将DiPS与多个基线方法进行比较。我们发现，DiPS比零样本LLM和通用RAG增强方法获得了更高的撤离成功率。

## 1 引言

自然灾害本质上是高风险场景，在此类场景中关于如何行动（例如，是撤离还是留下保护财产）的决策可能会带来严重后果，甚至危及生命。灾害救援操作员通常是受灾地区居民的主要联系人。这些操作员会提醒居民注意潜在问题，提供建议和信息，有时还会提供额外资源，如交通工具、路线指引和疏散设施（图1 (https://arxiv.org/html/2607.01557#S1.F1)）。然而，通常没有足够的人力操作员来有效沟通所有受影响的居民。

现有研究探索了人工智能代理如何在这些场景中与居民进行对话，以改善疏散结果（Vaidyanath and Georgila 2020 (https://arxiv.org/html/2607.01557#bib.bib24)）。然而，这种高风险说服极具挑战性，因为居民的情况各不相同（有时差异巨大），比如他们是否愿意且有能力撤离、什么能说服他们撤离、以及他们需要哪些资源才能撤离。AI代理需要从“一刀切”的协议中学会适应，以解决每位居民的具体需求和顾虑。

图1：野火疏散对话节选。操作员通过逐步升级的紧迫感和协助，说服不愿撤离的居民撤离。

我们研究了几种实现此类人工操作员的方法。这些方法在使用的领域特定训练数据种类以及生成对话回复的方式上有所不同。我们在已知和未知的居民场景中测试了这些操作员方法，既在模拟环境（使用基于LLM的居民模拟器）中，也通过与扮演居民角色的真人参与者进行测试。在第2节 (https://arxiv.org/html/2607.01557#S2)中，我们描述了所依赖的先前工作，包括我们使用的模拟环境和数据集，以及其他关于自适应策略创建的工作。第3节 (https://arxiv.org/html/2607.01557#S3)阐述了主要问题定义和提出的方法。随后，我们在第4节 (https://arxiv.org/html/2607.01557#S4)中介绍了三个实验，并将该方法与基线方法在AI对话伙伴（第5节 (https://arxiv.org/html/2607.01557#S5)）、真人角色玩家（第6节 (https://arxiv.org/html/2607.01557#S6)）以及双方策略改进（第7节 (https://arxiv.org/html/2607.01557#S7)）的对话中进行比较。第8节 (https://arxiv.org/html/2607.01557#S8)对未来工作进行展望并总结。

## 2 背景与相关工作

### 2.1 野火疏散说服

作为实验的测试平台，我们改编了Chaffey等人（2020 (https://arxiv.org/html/2607.01557#bib.bib21)）使用的野火模拟场景。在该模拟中，一场森林大火正快速逼近一个小镇。控制中心操作员需管理多种资源，包括飞行无人机、地面车辆和AI助手，以追踪火势、定位镇上的居民，并说服和帮助其撤离。在原始模拟中，小镇内随机分布着五组不同的居民群体。这些居民在具体身份、背景故事、当前状况以及是否愿意撤离的顾虑、撤离需要何种帮助等方面各不相同。例如，有的群体希望一起离开，有的需要交通工具帮助撤离，还有的则需要路线或指引。有些居民在被告知危险后愿意撤离，而另一些“固执”的居民则对初次劝说产生抵触，需要共情和/或说服他们相信这次火灾与以往险些发生的情况相比更为严重。Chaffey等人（2020 (https://arxiv.org/html/2607.01557#bib.bib21)）还描述了一项数据收集活动，其中人类实验参与者扮演操作员角色，而镇上的居民由实验者通过Wizard of Oz界面控制，选择预先录制的台词。操作员与居民之间的单个对话被提取、转录并进行了标注（Nasihati Gilani等人，2023 (https://arxiv.org/html/2607.01557#bib.bib22)；To等人，2023 (https://arxiv.org/html/2607.01557#bib.bib23)）。

### 2.2 说服算法

离线强化学习旨在从静态的先前收集的数据集中学习有效策略，而无需进一步与环境交互（Kumar等人，2020b (https://arxiv.org/html/2607.01557#bib.bib1)）。该范式的一个基本挑战是分布偏移：学习到的策略可能会高估数据中未出现的分布外动作的Q值（Kumar等人，2020a (https://arxiv.org/html/2607.01557#bib.bib2)；Fujimoto等人，2019 (https://arxiv.org/html/2607.01557#bib.bib3)）。隐式Q学习（IQL）（Kostrikov等人，2021 (https://arxiv.org/html/2607.01557#bib.bib4)）通过完全避免对未见动作的查询来解决这一问题，而是使用分位数回归，通过仅在分布内数据上训练的状态值函数来近似动作的最大值。最终策略通过优势加权回归提取，这使得IQL特别适用于具有复杂动作空间和有限数据覆盖的场景。

强化学习在对话系统中有着悠久的历史，从早期优化槽填充对话管理的工作（Williams and Young，2007 (https://arxiv.org/html/2607.01557#bib.bib5)）到早期用于提升参与度（Li等人，2016 (https://arxiv.org/html/2607.01557#bib.bib6)）和任务完成度（Peng等人，2017 (https://arxiv.org/html/2607.01557#bib.bib7)）的神经方法。尽管基于人类反馈的强化学习（RLHF）已成为将大型语言模型与人类偏好对齐的主导范式（Ouyang等人，2022 (https://arxiv.org/html/2607.01557#bib.bib8)；Bai等人，2022 (https://arxiv.org/html/2607.01557#bib.bib9)），但它通常在回复层面而非多轮策略规划上操作。与我们的工作更为接近的是，Verma等人（2022 (https://arxiv.org/html/2607.01557#bib.bib10)）将离线RL应用于对话式健康代理，而Snell等人（2022 (https://arxiv.org/html/2607.01557#bib.bib11)）探索了用于改进多轮对话结果的离线方法，证明了从记录的交互中进行Q学习可以胜过行为克隆。我们的工作共享这一动机，但侧重于选择在每轮对话中部署*哪一种*高层说服策略，而不是直接生成话语。

近期的研究还展示了LLM的角色扮演能力，即模型可以采用特定的角色或行为模式（Shanahan等人，2023 (https://arxiv.org/html/2607.01557#bib.bib12)）。Park等人（2023 (https://arxiv.org/html/2607.01557#bib.bib13)）引入了能够模拟可信人类行为的生成式代理，角色扮演已被用于创建真实的用户模拟器以评估对话系统（Davidson等人，2023 (https://arxiv.org/html/2607.01557#bib.bib14)）。我们在评估中利用了这种能力，使用基于角色条件的LLM在自动化实验中模拟居民，以及在现场研究中采用角色扮演的真人参与者。

在计算说服领域，先前的工作涵盖了健康行为改变（Wang等人，2019 (https://arxiv.org/html/2607.01557#bib.bib15)）、谈判（He等人，2018 (https://arxiv.org/html/2607.01557#bib.bib19)；Lewis等人，2017 (https://arxiv.org/html/2607.01557#bib.bib16)）和辩论（Durmus等人，2019 (https://arxiv.org/html/2607.01557#bib.bib17)）。Wang等人（2019 (https://arxiv.org/html/2607.01557#bib.bib15)）引入了PersuasionForGood并探索了慈善捐赠对话中的策略预测，而Salvi等人（2024 (https://arxiv.org/html/2607.01557#bib.bib18)）研究了GPT-4在多个领域的说服能力。然而，大多数现有方法要么统一应用单一说服策略，要么依赖LLM隐式的说服能力而无明确策略规划。相比之下，我们的框架DiPS学习根据不断演变的对话上下文*动态地*在不同说服策略之间进行选择。通过将IQL应用于风险关乎生死的消防救援说服场景，我们证明了离线RL可以有效学习基于轮次的策略选择，且数据来源于异构对话。据我们所知，这是首次将隐式Q学习应用于高风险说服对话，弥合了离线RL方法与自适应人类说服微妙需求之间的差距。

## 3 对话策略选择

我们研究高风险对话中的**自适应说服**，其中操作员必须在部分可观测条件下动态地根据个人的演变行为调整回复。考虑第2.1节 (https://arxiv.org/html/2607.01557#S2.SS1)中描述的紧急疏散场景。即使风险明确，个体的反应也各不相同：有些人可能持怀疑态度，有些人对家园有情感依赖，而另一些人则不知所措或犹豫不决。统一的指令（例如，反复要求居民撤离）往往无法顾及这些差异，导致居民脱离或产生抵触（Nasihati Gilani等人，2023 (https://arxiv.org/html/2607.01557#bib.bib22)）。在此类场景中有效的说服需要根据居民的当前状态调整回复的内容和语气，而不是依赖固定策略。

### 3.1 符号与问题定义

##### 对话模型。
我们将交互建模为部分可观察马尔可夫决策过程（POMDP）：  
\(\mathcal{M}=(\mathcal{S},\mathcal{O},\mathcal{A},\mathcal{P},\mathcal{R},\gamma)\)。  
在每一步时间\(t\)，居民处于隐含状态\(s_t \in \mathcal{S}\)，该状态捕捉内在因素，如信念、情绪状态和风险感知。操作员观察到\(o_t \in \mathcal{O}\)，表示居民对操作员上一轮动作\(a_{t-1}\)的回复话语。操作员还维护对话历史\(h_t = (a_0, o_1, a_1, \dots, o_t)\)。给定\(h_t\)，操作员策略选择一个回复\(\pi(h_t)=a_t \in \mathcal{A}\)，随后状态演变为\(s_{t+1} \sim \mathcal{P}(\cdot \mid s_t, a_t)\)。目标是在有限时间范围\(T\)内最大化期望折现（\(\gamma\)）未来回报，由奖励函数\(R: \mathcal{S} \to \mathbb{R}\)给出，对应于任务成功完成：
\[
\max_{\pi} \; \mathbb{E}_{\pi,\mathcal{P}} \left[ \sum_{t=1}^{T} \gamma^{t-1} r_t \right],
\]
其中\(r_t\)表示\(R(s_t)\)，且\(s_t \sim \mathcal{P}(\cdot \mid s_{t-1}, \pi(h_{t-1}))\)，初始状态为空的对话\(s_0\)。

##### 通过策略类别进行自适应说服。
我们不学习单一的 monolithic 策略，而是假设可以访问一组\(K\)个候选说服策略（或角色）\(\Pi = \{\pi^{(1)},\dots,\pi^{(K)}\}\)，其中每个\(\pi^{(k)}(a_t \mid h_t)\)编码一种独特的策略（例如，共情式、指令式或信息式）。在每一步时间，选择一个策略索引\(z_t \in \{1,\dots,K\}\)，然后动作按\(a_t \sim \pi^{(z_t)}(\cdot \mid h_t)\)采样。

##### 问题陈述。
给定一组候选说服策略\(\Pi\)和一个对话数据集，自适应说服的目标是学习一个“元策略”，该元策略在每一步时间根据对话历史选择最有效的策略。

参考图注  
图2：用于自适应说服的DiPS。给定最近的对话历史，一个状态编码器生成对话的表示，该表示被一个经过IQL训练的Q函数用于在每轮选择一项说服策略（角色）。选定的策略利用策略描述和检索到的示例来提示LLM生成操作员回复。居民（模拟或真人）回复，交互持续进行，直到LLM判断器做出终止决定或（人类）居民结束对话。

### 3.2 DiPS框架

我们介绍**DiPS**（对话策略选择），一个用于自适应说服的框架，学习动态地在多个策略之间进行选择。DiPS不是在自然语言回复上直接优化，而是在更高层次上操作，其中每个动作对应选择一个用于条件化回复生成的角色。

##### 离线对话数据集。
我们假设可以访问一个包含多个角色收集的离线对话数据集\(\mathcal{D}\)。每条轨迹\(\tau \in \mathcal{D}\)由一个序列\(\tau = (h_1, z_1, h_2, z_2, \dots, h_T)\)组成，其中\(h_t\)是对话历史，\(z_t \in \{1,\dots,K\}\)表示时间\(t\)使用的角色。该数据包含成功和失败的交互，提供了关于在哪些对话上下文中哪些策略有效的信息。每个转移产生元组\((h_t, z_t, r_t, h_{t+1})\)，其中奖励\(r_t\)反映下游任务的成功程度。

##### 通过离线RL进行策略选择。
我们将对话策略选择形式化为一个关于角色离散动作空间的离线强化学习问题。目标是学习一个价值函数\(Q(h_t, z)\)，该函数估计在给定当前对话历史下选择角色\(z\)的长期有效性。我们使用隐式Q学习（IQL）来训练\(Q\)，这可以从离线数据中稳定学习而无需额外交互。IQL学会为导致成功结果的角色分配更高的价值，同时降低在失败轨迹中观察到的角色的权重。直观上，这种学习导致...