Enjoy Your Talk: 一个以人为中心的多轮对话基准，采用解耦的用户模拟、目标建模与评判

# 享受你的对话：基于解耦用户模拟、目标建模与评判的人本多轮对话基准

来源: https://arxiv.org/html/2607.10428

Jinglan Gong¹,²\*, Jiefan Lu¹\*, Hewei Guo¹\*, Kehan Li¹,³, Zhiyuan Han¹,², Jihang Jiang², Wenwen Tong¹✉, Lewei Lu¹✉

¹商汤科技研究
²中国科学技术大学
³清华大学

###### 摘要

评估大语言模型（LLMs）作为多轮对话伙伴，需要探测单轮基准无法触及的能力：角色一致性、意图演变追踪、情感动态以及跨多轮的目标完成。我们提出 **EYT-Bench**，一个以人为中心的基准，其评估协议基于**三方解耦**设计——一个基于角色的用户模拟器、一个将意图感知与回复生成解耦的目标模型，以及一个独立的第三方 LLM 评判器（带可配置的多评判器集成）。角色从公开发布、人工筛选的语料库中采样——Nemotron-Personas-USA（NVIDIA, 2025 (https://arxiv.org/html/2607.10428#bib.bib39)）和 PersonaMem-v2（Jiang et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib41)）——而非合成生成，从而消除一个由 LLM 引入的系统性角色偏差源。此外，我们引入了两个先前工作缺失的轨迹级度量：基于嵌入的**意图漂移**信号，以及受 τ-bench（Yao et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib12)）启发的**最终意图完成率（FICR）**。在 17 个目标 × 200 个对话的评估中，EYT-Bench 揭示了之前基准未能发现的四个发现：(i) 最先进的**闭源**和**开源**模型在主观维度上（共情/角色/拟人化程度差异 ≤0.3）统计上无显著差异，但在客观意图追踪上差距达 9 倍；(ii) 推理能力（“思考模式”）是长上下文角色客观追踪的阶段转变（Gemma-4 隐含意图准确率提升 +0.47–0.50），但在主观分数上基本平坦；(iii) 角色格式主导轨迹分布——FICR 在 Nemotron-USA 上饱和于 0.95 以上，但在 PersonaMem-v2 上散布从 0.53 到 0.88；(iv) 热身效应在全部 16/17 个模型上稳健（一个离群值 GPT-5.5 反转该效应），且聚合排名在热身权重 α∈[0.05,0.15] 范围内稳定。跨评判器消融实验（以 deepseek-v4-pro 替代评判器）证实目标排名和最终意图满意度在不同评判器间保持一致。

---

享受你的对话：基于解耦用户模拟、目标建模与评判的人本多轮对话基准

Jinglan Gong¹,²\*, Jiefan Lu¹\*, Hewei Guo¹\*, Kehan Li¹,³, Zhiyuan Han¹,², Jihang Jiang², Wenwen Tong¹✉, Lewei Lu¹✉

¹商汤科技研究
²中国科学技术大学
³清华大学

{NoHyper}††footnotetext:\*共同第一作者。✉通讯作者。

## 1 引言

现代 LLM 不再仅仅根据单个答案是否正确来评估：用户现在期望它们能够在多轮交流中维持连贯、符合角色且情感恰当的对话（Miehling et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib50); Li et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib51); Acikgoz et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib49)）。在这样长期交互中，单轮度量是一个糟糕的代理：模型可能偏离角色，丢失用户不断变化的意图，或累积小的错位，而这些错位往往在几轮之后才变得明显（Gooding and Grefenstette, 2025 (https://arxiv.org/html/2607.10428#bib.bib47); Laban et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib25)）。

现有的多轮基准在三个轴向上未能充分测试这些行为（表 1 (https://arxiv.org/html/2607.10428#S1.T1)）。(1) **角色真实性**：许多基准使用 LLM 生成角色，引入了模型特定的偏差和同质性（Argyle et al., 2023 (https://arxiv.org/html/2607.10428#bib.bib35)）。(2) **评估解耦**：常见模式是使用同一模型家族作为模拟器、目标和评判器，这已知会通过自我偏好膨胀分数（Zheng et al., 2023 (https://arxiv.org/html/2607.10428#bib.bib13); Panickssery et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib14)）。(3) **轨迹度量**：轮次级别的标签准确性无法告诉我们对话是否**收敛**于用户的目标——这是近期以目标为导向的基准（如 τ-bench（Yao et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib12)））和面向过程的框架（如 EMPA（Zhang et al., 2026 (https://arxiv.org/html/2607.10428#bib.bib6)））明确针对的差距。

表 1: 各开放域多轮对话基准对四个设计轴线的覆盖情况。我们提出 **EYT-Bench**，其贡献直接针对这些缺口：

- • **两个互补的公开角色池**。我们从公开的人工筛选来源采样 500 条记录的英语角色池——Nemotron-Personas-USA (NVIDIA, 2025 (https://arxiv.org/html/2607.10428#bib.bib39))，一个基于人口统计学的 18 属性模式；以及 PersonaMem-v2 (Jiang et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib41))，从长篇真实用户-助手交互中提取——并在每个角色池上评估每个模型。将角色源作为实验变量，直接暴露了“基准结果”中有多少是角色格式的伪像（表 5 (https://arxiv.org/html/2607.10428#S4.T5)）。
- • **三方解耦评估**。模拟器、目标和评判器模型从独立配置加载，并限定在模型家族级别互不相交，从而消除自我偏好混淆（Panickssery et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib14); Wang et al., 2025b (https://arxiv.org/html/2607.10428#bib.bib15)）。跨评判器消融实验用来自第三个家族的模型替换主评判器（表 14 (https://arxiv.org/html/2607.10428#A10.T14)）。
- • **轨迹级客观度量**。除了轮次级意图/情感准确性之外，我们增加了 (a) 受 EMPA (Zhang et al., 2026 (https://arxiv.org/html/2607.10428#bib.bib6)) 启发的基于嵌入的**意图漂移**度量，以及 (b) 由评判器裁决的**最终意图完成率（FICR）**，这是 τ-bench 的数据库状态验证 (Yao et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib12)) 在开放域中的类比。
- • **轮次感知加权作为受控消融**。先前工作中的热身加权聚合与未加权版本以及热身权重 α∈{0.05,0.10,0.15} 的灵敏度扫描一同报告；我们确认跨模型排名在该范围内稳定（表 8 (https://arxiv.org/html/2607.10428#S4.T8)）。

##### 实证亮点。

17 个目标 × 2 个角色池 × 100 个对话的运行揭示了之前基准未能发现的四个发现。(i) 主观共情/角色/拟人化分数在闭源 API（Claude、Gemini、GPT-5.5、豆包 Seed）和开源 MoE/密集目标（DeepSeek-V4、Qwen3.5、Gemma-4）之间紧密聚集：家族间差异在 0–5 分制上小于 0.5，仅 gpt-5.5 明显分离（共情分数 <2.0）。(ii) 在客观追踪上，差距扩大到 9 倍：deepseek-v4-pro 和启用思考的 gemma-4-31b/26b 占主导（PersonaMem-v2 上隐含意图准确率 ≥0.75），而豆包 Seed 和 Qwen3.5 降至 0.08–0.15。(iii) 启用推理在长上下文 PersonaMem-v2 上本质上是一个阶段转变（Gemma-4-31B 潜在准确性 +0.47），但在较短上下文的 Nemotron 池上仅提供边际增益。(iv) FICR 在 Nemotron-USA 上饱和（除 gpt-5.5 外所有闭源模型均 ≥0.95），但在 PersonaMem-v2 上清晰分布（0.53→0.88），使 PersonaMem-v2 轨迹成为更具区分力的信号。

## 2 相关工作

##### 客观对话评估。

经典表面级度量（BLEU、ROUGE、困惑度）(Papineni et al., 2002 (https://arxiv.org/html/2607.10428#bib.bib53); Lin, 2004 (https://arxiv.org/html/2607.10428#bib.bib54)) 在开放式聊天中失败。任务导向基准依赖数据库状态匹配 (Sun et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib55); Abdulhai et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib56); Jia et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib57))，这很精确但限于封闭领域。近期关于**目标导向**智能体评估的工作，特别是 τ-bench (Yao et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib12))，根据最终数据库/世界状态是否匹配真实标注来给智能体打分；我们将这一原则借鉴到我们的 FICR 度量中，同时将其适配到开放域个人支持场景，其中世界状态被替换为评判器裁决的目标。

##### LLM 作为评判器。

Zheng et al. (2023 (https://arxiv.org/html/2607.10428#bib.bib13)); Fu et al. (2024 (https://arxiv.org/html/2607.10428#bib.bib17)); Gao et al. (2025 (https://arxiv.org/html/2607.10428#bib.bib22)) 建立了 LLM 作为评判器作为人类评估的可行可扩展代理。后续工作记录了系统性偏差——自我偏好 (Panickssery et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib14))、位置偏差 (Wang et al., 2025b (https://arxiv.org/html/2607.10428#bib.bib15), 2023 (https://arxiv.org/html/2607.10428#bib.bib16)) 和冗长偏差——并提出了多评判器集成 (Sun et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib21)) 结合基于规则的推理提示 (Zhang et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib19); Laskar et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib20)) 作为缓解措施。我们采用了一个强 CoT 启用的评判器（Gemini-3.1-Pro-Thinking）并通过跨评判器消融实验量化残差偏差（表 14 (https://arxiv.org/html/2607.10428#A10.T14)），将评判器替换为不同家族的模型。

##### 用户模拟。

基于规则的用户模拟器 (Schatzmann et al., 2007 (https://arxiv.org/html/2607.10428#bib.bib32); Li et al., 2016 (https://arxiv.org/html/2607.10428#bib.bib33)) 是确定性的；基于 LLM 的模拟器 (Filippas et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib26); Wu et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib27); Chang et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib28); Suh et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib29)) 更加多样，但倾向于合作地“礼貌” (Zhong et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib30); Wang et al., 2025a (https://arxiv.org/html/2607.10428#bib.bib31); Herlihy et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib36))。近期面向过程的评估 (Zhang et al., 2026 (https://arxiv.org/html/2607.10428#bib.bib6)) 和多挑战基准 (Deshpande et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib7); Bai et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib4); Deng et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib5)) 推动模拟器建模阻力、情感动态 (Han et al., 2026b (https://arxiv.org/html/2607.10428#bib.bib2), a (https://arxiv.org/html/2607.10428#bib.bib3)) 和变化中的意图，而多模态模型将多轮交互扩展到视听设置 (Tong et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib1))。我们的模拟器遵循这一路线，并额外暴露一个**最终意图**目标，以便模拟器每轮评估自身的目标达成进展，从而实现早期终止和 FICR 度量。

##### 角色语料库。

公开人工筛选的角色资源包括 PersonaChat / ConvAI2 (Zhang et al., 2018 (https://arxiv.org/html/2607.10428#bib.bib37))、DMT-RoleBench 混合 (Yuan et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib8))、合成但大规模的 PersonaHub 语料 (Ge et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib38))、人口统计学丰富的 Nemotron-Personas (NVIDIA, 2025 (https://arxiv.org/html/2607.10428#bib.bib39)) 以及长上下文 PersonaMem 语料 (Jiang et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib41))。我们有意结合这两个捕捉角色不同方面（结构化人口统计 vs. 提炼对话语音）的人工筛选语料库，以将角色格式暴露为实验变量。

## 3 EYT-Bench

### 3.1 概述

请参见标题图 1: EYT-Bench 框架。① 生成一个基于角色的 **ChatSEED**（角色、话题、初始情感、显式/隐含/最终意图）。② 目标模型根据独立提示预测用户标签（感知阶段）并生成回复（生成阶段）。③ 一个 LLM 用户模拟器发出下一轮，并附带每轮最终意图进展。④ 一个第三方评判器（单评判器或多评判器集成）根据五个子维度规则对每一轮打分，并裁决最终意图完成。

EYT-Bench 由三个独立智能体组成（图 1 (https://arxiv.org/html/2607.10428#S3.F1)）：

1. **用户模拟器**——发出一个基于角色的用户轮次，并附带 JSON 标注 {显式意图, 隐含意图, 情感, 最终意图进展}。
2. **目标模型**——被评估的模型。每一轮它首先**预测**用户标签（感知阶段），然后**生成**回复（生成阶段）；这两个提示是独立的，因此预测规则不会泄漏到回复分布中。
3. **评判器**——一个独立的第三方 LLM，根据五个子维度规则对每一轮打分，覆盖 {共情, 角色对齐, 拟人化交互} 并裁决最终意图完成。框架接受单一评判器或多评判器集成；主要结果使用单一 Gemini-3.1-Pro-Thinking 评判器，并进行了跨评判器消融实验（表 14 (https://arxiv.org/html/2607.10428#A10.T14)）。

这三个角色由配置要求在模型家族级别互不相交，从而消除了自我偏好偏差的一个主要来源 (Panickssery et al., 2024 (https://arxiv.org/html/2607.10428#bib.bib14))。

### 3.2 角色池构建

我们从公开可用、人工筛选的来源中采样两个互补的 500 条记录英语角色池，并将角色池的选择视为实验变量。

##### 池 A — Nemotron-Personas-USA。

从 Nemotron-Personas 语料（NVIDIA, 2025 (https://arxiv.org/html/2607.10428#bib.bib39)）中获取一个 500 行的分层样本，限制 country == "United States"，以使 18 属性人口统计模式（年龄、性别、职业群体、婚姻状况、教育、种族/民族、大五人格向量等）完全填充。记录通过 all-MiniLM-L6-v2 嵌入的余弦相似度 ≥0.85 去重，并按 occupation_group × age_bucket 分层。

##### 池 B — PersonaMem-v2。

从 PersonaMem-v2（Jiang et al., 2025 (https://arxiv.org/html/2607.10428#bib.bib41)）中获取一个 500 行样本。与 Nemotron 的人口统计模式不同，PersonaMem-v2 角色是从长篇真实用户-助手交互中提炼出的段落，因此它们保留了真实用户的对话语音，而不是结构化的人口统计快照。

##### 为什么要两个池而不是混合？

一个 LLM 合成的“基线池”会混入两个混淆效应——**角色来源**（合成 vs. 人工）和**角色格式**（结构化属性 vs. 自由文本）。通过将两个人工筛选的池分开，并在每个池下评估每个目标，我们直接读出模型分数中有多少归因于角色格式。