PragAlign：基于反馈引导的实用对齐框架，用于控制合成对话生成

# PragAlign：基于反馈引导的务实对齐框架，用于可控合成对话生成
来源：https://arxiv.org/html/2609.02480
Jaideep Srivastava 所属机构：muthy009@umn\.edu, srivasta@umn\.edu

###### 摘要

> 合成对话生成可为隐私受限的服务场景研究提供支持，但生成的对话必须保持沟通意图、情感意义与自然对话流程。我们引入PragAlign，一个基于反馈引导的可控合成对话生成框架，它依据服务情境、目标意图与目标情感，并辅以特质风格控制。PragAlign采用生成-评估-修正循环，其中基于LLM的评估器对意图对齐、情感对齐、连贯性、流畅性及综合质量进行评分，随后提供特定标准的反馈，最多进行三轮优化。在800个匹配的对话规范上，PragAlign实现了99.50%的评估器定义接受率，而一次生成仅为72.25%，无结构化反馈的重复生成则为95.88%。这表明，相对于一次生成，重复尝试贡献了大部分提升，而结构化反馈主要改善了最后阶段的多约束满足问题，而非广泛的平均质量。优化增益集中在情感对齐上，这也是消融实验中的主要失败模式。一项针对1,200个生成对话的独立人类评估显示，意图表达和对话流程对标注者来说高度可识别，而情感适当性则稳定性较低且更具主观性。这些结果支持PragAlign作为提升评估器定义的沟通约束满足度的质量控制框架，同时表明情感实现与独立的人类感知质量仍是待解的挑战。

## 引言

合成对话数据可支持对话智能体的开发与评估，尤其在真实客服对话具有隐私性、成本高昂或难以共享的服务领域。然而，有用的合成对话不仅仅是听起来流畅。它们应表达预期的服务目标，保持连贯的交互流程，并在特定情境下实现目标情感立场。我们将此目标称为*务实约束满足*：生成的对话应满足指定的沟通约束，包括意图、情感、连贯性和流畅性。

我们引入PragAlign，一个用于可控合成服务对话生成的、基于反馈引导的生成-评估-修正框架。每个对话规范包含一个服务领域情境、目标意图集、目标情感集以及一个辅助特质风格控制向量。PragAlign首先根据此规范生成一个候选多轮对话。随后，基于LLM的评估器对对话的意图对齐、情感对齐、连贯性、流畅性和综合质量进行评分。如果任何标准低于阈值，评估器会返回特定标准的反馈，生成器会据此修正对话，最多进行三轮优化。

一个核心挑战是评估器本身也是修正循环的一部分。因此，我们将自动接受视为评估器定义的约束满足，而非人类感知的对话质量的独立衡量标准。这一区别很重要，因为生成器可能学会满足评估器的评分标准，而不一定改善所有方面的人类判断。因此，我们围绕三个问题组织评估：结构化评估器反馈是否比重复采样更能改善受控对话生成；哪些沟通约束从优化中获益最大；以及评估器定义的增益是否对应于人类对意图表达、对话流程和情感适当性的判断。核心实证问题不在于重复的LLM生成是否能改进输出，而在于特定标准的反馈是否能修复仅靠重复采样无法可靠解决的剩余问题。

在800个匹配的对话规范上，PragAlign实现了99.50%的自动接受率，而一次生成仅为72.25%，无结构化反馈的重复生成则为95.88%。因此，相对于一次生成，重复尝试贡献了大部分提升，而结构化反馈在完全满足阈值方面提供了额外改进。优化增益集中在情感对齐上，这也是消融实验中的主要失败模式。一项针对1,200个生成对话的独立人类评估显示，意图表达和对话流程高度可识别，而情感适当性则稳定性较低且更具主观性。

本文有四项贡献：

- •我们引入PRAGALIGN，一个用于在明确意图、情感、连贯性和流畅性约束下，进行可控合成服务对话生成的闭环框架。
- •我们在800个匹配的对话规范上评估了PragAlign，涵盖一次生成、无反馈、无情感、无个性和全优化等条件。
- •我们表明，结构化评估器反馈比单纯的重复生成更能改善约束的完全满足，最强的优化效应体现在情感对齐上。
- •我们提供了补充分析，包括消融实验和一项独立的人类评估，同时明确将自动接受视为评估器定义的，而非独立的人类质量证据。

## 相关工作

#### 迭代优化与基于模型的评估。

PragAlign建立在近期研究的基础上，这些研究表明语言模型的输出可以通过反馈、反思或深思熟虑的搜索来改进。Self-Refine和Reflexion使用迭代反馈或口头反思来改进多次尝试的输出，而思维树提示则在推理过程中探索替代的推理路径[10 (https://arxiv.org/html/2609.02480#bib.bib11),13 (https://arxiv.org/html/2609.02480#bib.bib13),14 (https://arxiv.org/html/2609.02480#bib.bib9)]。与此同时，基于模型和基于LLM的评估方法（如G-Eval、UniEval和LLM-as-judge框架）使用结构化评估标准来评估生成文本的质量、任务成功率或模型偏好[9 (https://arxiv.org/html/2609.02480#bib.bib10),18 (https://arxiv.org/html/2609.02480#bib.bib14),17 (https://arxiv.org/html/2609.02480#bib.bib18)]。PragAlign结合了这些方向，不仅使用LLM评估器对生成的服务对话进行评分，还提供特定标准的反馈以供修正。

#### 属性条件对话生成。

该框架还与情感感知、人物角色基础、用户中心化和个性条件的生成相关。先前的工作探索了情感回应生成、共情回应建模、人物角色与知识基础、LLM输出中的个性特质表达、基于个性的合成对话生成以及可控的多属性对话生成[19 (https://arxiv.org/html/2609.02480#bib.bib15),8 (https://arxiv.org/html/2609.02480#bib.bib16),11 (https://arxiv.org/html/2609.02480#bib.bib17),5 (https://arxiv.org/html/2609.02480#bib.bib2),7 (https://arxiv.org/html/2609.02480#bib.bib3),16 (https://arxiv.org/html/2609.02480#bib.bib4),6 (https://arxiv.org/html/2609.02480#bib.bib1),3 (https://arxiv.org/html/2609.02480#bib.bib5),4 (https://arxiv.org/html/2609.02480#bib.bib12)]。这些方法表明，生成的回应可以基于情感、人物角色、用户、个性或风格属性进行条件化。PragAlign的不同之处在于，它将服务情境、目标意图、目标情感和个性特质输入相结合，用于合成服务对话生成的闭环接受流程。

#### PragAlign的定位。

PragAlign并非仅针对通用文本质量进行优化，而是将合成服务对话生成表述为沟通目标对齐问题。每个生成的对话必须满足指定的意图对齐、情感对齐、连贯性、流畅性和综合质量的约束。因此，产生的接受决策最好被解释为评估器定义的务实约束满足，而非人类感知的对话质量的独立衡量标准。

## 模型框架

PragAlign是一个目标驱动的闭环框架，用于面向客户的服务交互中的可控合成对话生成。该框架使用LLM生成器产生候选多轮对话，并使用基于LLM的评估器评估每个对话是否满足预定义的沟通约束。当候选对话未满足一个或多个标准时，评估器会返回结构化反馈，该反馈会被纳入下一次生成尝试中。图1 (https://arxiv.org/html/2609.02480#Sx3.F1)概述了整个生成-评估-修正循环。

参见标题图 1：PragAlign闭环生成框架概述。### 目标表示

每个对话从一个结构化目标表示生成：

Φi=\(D,pi,Ii∗,Ei∗,Ω\),\\Phi\_\{i\}=\(D,p\_\{i\},I\_\{i\}^\{\*\},E\_\{i\}^\{\*\},\\Omega\),\(1\) 其中DD表示面向客户的服务领域情境，pip_\{i\}是用于条件化的辅助特质风格向量，Ii∗I_\{i\}^\{\*\}是目标意图集，Ei∗E_\{i\}^\{\*\}是目标情感集，Ω\Omega包含生成超参数。这些输入定义了每个候选对话的受控生成空间。

领域规范DD将生成置于服务情境中，包括交互情境、用户目标和相关支持细节。目标意图集Ii∗I_\{i\}^\{\*\}指定对话中应表达的功能性目标，例如账单澄清、退款请求、账户访问支持、投诉处理或后续状态查询。为了构建细粒度的服务目标，我们使用类比提示从代表性示例中推导子意图[15 (https://arxiv.org/html/2609.02480#bib.bib8)]。目标情感集Ei∗E_\{i\}^\{\*\}基于Plutchik的情感模型指定情感状态[12 (https://arxiv.org/html/2609.02480#bib.bib6)]；这些情感可能通过情感词直接表达，或通过语气、紧迫性、关切、沮丧、宽慰或安慰间接表达。

在我们的实现中，pip_\{i\}使用大五人格特质值[1 (https://arxiv.org/html/2609.02480#bib.bib7)]实例化，但这些特质仅用作生成侧的风格控制，不被视为被评估的输出属性。

图2 (https://arxiv.org/html/2609.02480#Sx3.F2)总结了提供给对话生成器的结构化输入。

参见标题图 2：对话生成器的结构化输入。
### 生成-评估-修正循环

给定目标表示Φi\Phi_\{i\}，生成器生成一个初始的多轮面向客户的服务对话。除非另有说明，PragAlign使用GPT-4.1作为对话生成器。生成提示包括服务领域情境、目标意图、目标情感、个性特质以及诸如对话长度和输出格式之类的生成约束。

每次生成尝试后，评估器对候选对话的意图对齐、情感对齐、连贯性和流畅性进行评分。如果对话满足所有接受标准，则将其保留为最终输出。如果任何标准低于阈值，评估器会返回特定标准的反馈，指出失败的维度并描述应修改的内容。然后，生成器接收原始目标表示以及此反馈，并生成修订后的对话。

原始的沟通规范在整个优化过程中保持不变。因此，修改不会改变目标领域、意图集、情感集或个性向量；相反，它旨在在对话中更好地实现这些约束。例如，如果评估器识别出缺失的意图或微弱的情感实现，下一个提示会要求生成器在保持连贯性、流畅性以及与服务场景一致性的同时，加强该方面。

### 基于LLM的评估器

我们使用GPT-4o-mini和结构化评估提示实现评估器。受思维树式提示[14 (https://arxiv.org/html/2609.02480#bib.bib9)]中标准分解的启发，评估器在单独的维度上评估每个对话的意图对齐、情感对齐、连贯性和流畅性。每个维度得到一个[0,1]\[0,1]范围内的标量分数，各组成部分分数被组合成一个综合质量分数Qψ\(di\)Q_\{\\psi\}\(d_\{i\}\)。

除了标量分数，评估器还生成结构化反馈，描述生成对话中的弱点，例如缺失的意图、微弱的情感实现、不连贯的轮次或不自然的措辞。此反馈仅在对话未通过接受标准时使用；已接受的对话无需进一步修改即可退出修正循环。

因为评估器也是修正过程的一部分，自动接受应被解释为评估器定义的约束满足，而非人类感知的对话质量的独立证据。因此，人类评估被用作一个独立的、数据集层面的检查，以验证生成的对话是否包含意图表达、对话流程和情感适当性的可识别线索。

## 实验设置

### 数据集构建

我们为主自动评估构建了800个匹配的对话规范。每个规范包含一个服务领域情境、一个目标意图集、一个目标情感集和一个辅助特质风格控制向量。相同的规范用于所有自动实验条件，以便进行配对比较。

这些规范涵盖10个面向客户的服务领域：旅行预订、在线零售配送、在线订阅服务、银行支持、健康预约服务、外卖配送支持、酒店与接待服务、公用事业服务、软件帮助台支持和电信服务。领域覆盖大致平衡，每个领域有72到89个规范。

意图集包含15个服务意图类别：账户访问支持、账单澄清、服务升级请求、投诉处理、后续状态查询、请求发票或文档、配送状态查询、支付方式更新、政策澄清、错误收费争议、退款请求、确认请求、更换或换货请求、联系信息更新和升级请求。每个对话规范包含两个或三个目标意图；150个规范包含两个意图，650个包含三个意图。情感集包含30个情感标签：钦佩、惊奇、愤怒、期待、忧虑、敬畏、无聊、轻蔑、不赞成、厌恶、分心、狂喜、恐惧、悲伤、兴趣、喜悦、憎恨、爱、乐观、沉思、暴怒、悔恨、悲伤、宁静、顺从、惊讶、恐惧、信任、警惕和攻击性。每个规范包含一到三个目标情感；11个规范包含一个情感，118个包含两个情感，671个包含三个情感。我们还包括一个辅助的大五人格特质风格向量用于生成侧的变化。每个特质有三个取值之一，对应低、中、高强度。这些值仅用作条件输入，不作为目标输出属性进行评估。生成的对话被限制为六到八个轮次。除非另有说明，生成器温度为0.7，最大输出长度为1024个令牌。