SenseJudge: 以人为中心的偏好驱动判断框架

# SenseJudge：以人为中心的偏好驱动判断框架

来源：https://arxiv.org/html/2606.03189

芮丽1, 刘俊峰2,3∗, 孔祥文2, 徐林海2††thanks:通讯作者., 隋志方122footnotemark:2

1北京大学计算机学院多媒体信息处理国家重点实验室  
2步道未来 (StepFun)  
3西安交通大学  

o\_l1ru1@outlook\.com, 3124336079ljf@stu\.xjtu\.edu\.cn  

*共同第一作者。本文工作于2024年8月至2025年4月在步道未来 AI (StepFun AI) 实习期间完成。  
†通讯作者。

###### 摘要

大型语言模型 (LLMs) 作为裁判，在评估模型响应等各种场景中正成为一种日益被接受的范式。然而，现有的评判方法通常依赖于使用固定偏好数据训练的裁判，这往往忽视了多样化的用户偏好，难以适应真实世界的人机对话场景。为了解决这些限制，我们提出了 **SenseJudge**，一个由人类偏好驱动的可定制评判框架，以及 **SenseBench**，一个源自真实世界多轮交互的多样且具有挑战性的指令遵循基准。我们将这个自动评判框架和基准应用于两个任务：1) LLM 作为个性化裁判，以及 2) 模型排名。我们进行了大量实验，结果表明 SenseJudge 框架在 LLM 作为个性化裁判任务中超越了其他评判方法和模型，并实现了与真实人类感知一致的模型排名。此外，我们还对位置偏差和一致性进行了分析，并进行了消融研究，证实了 SenseJudge 的鲁棒性。我们的数据和代码已在 https://github.com/qiongrenpiqida/SenseJudge 公开。

## 1 引言

模型响应的评估是大型语言模型 (LLMs) 开发中的关键组成部分。从一对响应中选出更优者，生成偏好数据 (query, chosen, rejected)，这对于各种后优化算法至关重要 [Rafailov et al., 2024; Ouyang et al., 2022]。不同公司的不同 LLM 版本之间的竞争性评估，促进了模型的更新和迭代 [Lambert et al., 2024; Li et al., 2024]。此外，通过评估各种模型响应并选择最符合个人用户偏好的响应，评判过程可以适应广泛的用户价值观，有效提供个性化体验 [Fan et al., 2025; Dong et al., 2024]。以往，这些评判是通过人工标注完成的。然而，随着大型语言模型在自然语言理解和指令遵循能力方面的进步 [Naveed et al., 2024; Zhou et al., 2023]，LLMs 正越来越多地被整合到人类工作流程中，用于自动评判 [Zheng et al., 2023a; Wang et al., 2023b]。

![Refer to caption](figure1)

图 1：模型根据个人偏好代表人类评判响应。

然而，现有的评估方法和模型，如 Pandalm [Wang et al., 2023b]、Auto-j [Li et al., 2023] 和各种奖励模型，依赖于同质化的标准和价值观，忽视了用户偏好的多样性。这些模型也缺乏根据个人用户需求做出细致选择的能力。此外，当前的公开评判基准，包括 MT-Bench [Zheng et al., 2023a]、Auto-j [Li et al., 2023] 和 Rewardbench [Lambert et al., 2024]，主要采用单轮或双轮对话设计。这与真实世界的人机交互存在显著差异，真实交互中往往涉及多轮历史对话（有些相关，有些不相关）来指导当前请求。为了解决这些限制，我们提出了 **SenseJudge** 和 **SenseBench**。SenseJudge 是一个基于显式人类偏好的可定制评估框架，通过模拟不同用户和场景的偏好，实现对模型响应的个性化评判。SenseBench 是一个从真实人机对话中衍生的高质量、具有挑战性的数据集，涵盖数学、逻辑、写作和角色扮演等八个常见主题。我们基于 SenseBench 进行了大量实验，以评估 SenseJudge 框架在两种主要应用场景中的有效性：1. **LLM 作为个性化裁判 (LLM-as-a-Personalized-Judge)**，专注于选择符合个人偏好的响应；2. **模型排名 (Model Ranking)**，旨在识别不同公司或版本（例如 GPT 对 DeepSeek）中的领先模型。结果表明，SenseJudge 在 LLM 作为个性化裁判任务中，优于最先进的 API、基于训练的评价器和奖励模型。它还能实现与人类判断一致的模型排名。此外，通过分析位置偏差和一致性等因素，以及全面的消融研究，进一步验证了 SenseJudge 的有效性和鲁棒性。

我们的主要贡献如下：

- • 我们开发了 SenseBench，一个旨在与真实人机交互场景对齐的基准。它具有多样化且具有挑战性的多轮对话。
- • 我们提出了 SenseJudge，一个旨在适应多样化人类价值观和偏好的评判框架，能够对模型响应进行细粒度且可定制的评判。
- • 我们进行了全面的实验和分析，以评估 SenseJudge 在 LLM 作为个性化裁判任务和模型排名任务中的有效性。

## 2 相关工作

### 2.1 LLM 作为裁判

由于其在评估任务中的可扩展性和适应性，LLMs 正日益被认为是传统专家驱动评估的可行替代方案。常见的增强方法包括设计提示词和训练裁判。

提示工程是一种有效的方法，可以在不更新模型参数的情况下提升 LLMs 作为裁判的性能。许多方法在训练前优化各自的提示策略，例如将参考 [Zhu et al., 2023] 或规则 [Li et al., 2023] 纳入提示词中，并引导模型提供详细的分析或理由 [Kim et al., 2024]。在此基础上，可以利用成对或逐点评判数据，通过监督微调来训练基于 LLM 的裁判 [Kim et al., 2024]。一些研究人员利用大规模偏好反馈数据训练奖励模型；利用其学习偏好的能力，这些模型也可以作为裁判 [Zhong et al., 2025]。

### 2.2 从通用到个性化

从通用到个性化的转变代表了技术发展的一个历史性范式 [You et al., 2025]。随着 LLM 通用能力的快速发展，人们越来越有兴趣将 LLM 定制到特定的用户场景，超越其作为通用聊天机器人的角色 [Zhang et al., 2024]。例如，[Wu et al., 2024] 提出通过多轮对话隐式推断用户的个性化偏好，并帮助 LLM 动态调整其行为和响应，以更好地满足个人用户需求。[Zhu et al., 2025] 提出使用心理评估工具，如“大五人格特质”和“黑暗三联征”来量化用户特征，并相应地对齐模型。[Li et al., 2025] 引入了一个多粒度兴趣预测框架，利用粗粒度和细粒度的兴趣信息来监督模型训练。此外，[Tan et al., 2025] 提出了一个个性化框架 OPPU，通过参数高效微调和非参数个性化方法（如检索增强和档案增强技术）为每个用户创建专用个性化模块，以增强 LLM 的个性化和泛化能力。

## 3 方法

![Refer to caption](figure2)

图 2：我们的 SenseBench 数据构建流程概览。该流程包括 1) 基于质量的数据过滤与分类，2) 基于挑战性的过滤。

在本节中，我们介绍我们框架的两个关键组成部分：**SenseBench**，一个从真实人机交互对话中衍生的多样且高质量的指令遵循基准；以及 **SenseJudge**，一种基于人类偏好的可定制评估方法。

### 3.1 SenseBench

#### 3.1.1 概述

目前，缺乏能够准确反映人类用户体验并根据感知质量区分模型的基准。SenseBench 由来自在线 LLM 服务的真实用户查询组成（根据评审政策已匿名化），其中每个对话的最后一轮要么提供依赖于上下文的指令，要么引入全新的任务。这种设计对 LLMs 与人类期望对齐的能力提出了高要求，有助于有效的模型区分，并改进与人类感知质量的对齐。

#### 3.1.2 基准构建

基于真实用户数据，我们采用可扩展的自动数据选择流程来构建一个高质量且多样化的基准，如图 2 所示。该流程包含两个主要步骤：1) 基于质量的数据过滤与分类，以及 2) 基于挑战性的过滤。详细流程如下：

##### 基于质量的数据过滤与分类

我们使用 Qwen3-14B [Yang et al., 2025] 来对来自真实用户对话历史的数据进行去噪和分类。具体来说，我们首先移除冗余、模糊、低质量或过于简单的条目，然后将剩余数据分类为八个不同的主题：数学、逻辑推理、综合问答、编程、创意写作、多语言翻译、角色扮演和自然语言理解。这些类别代表了真实世界人类指令的常见类型，并全面反映了 LLMs 的能力。

##### 基于挑战性的过滤

为了确保选定的提示词具有足够的挑战性，我们需要它们能够产生不同模型之间清晰可辨的响应。我们在通过第一轮自动过滤的候选数据上进行了多模型评估。具体来说，我们将每个候选提示词输入到相对较强的模型（例如 Qwen2.5-Max、Qwen3-235B）和相对较弱的模型（例如 Qwen2.5-14B、LLaMA3-8B）中生成响应。这产生了一组庞大的成对数据，格式为 (Query, Strong Model Response, Weak Model Response)。然后，我们采用了一个两阶段过滤流程，结合了自动过滤和人工过滤。

**自动过滤。** 我们使用 GPT-4 来评估强模型和弱模型之间的响应质量。强模型显著优于弱模型的问题被保留为具有区分性和挑战性的实例。具体的评判指令见附录 A.2。

**人工过滤。** 在初始自动过滤之后，我们对数据进行了人工过滤。具体来说，人工过滤过程主要关注两个方面：1) 评估经过 GPT-4 过滤的成对数据是否真正能够区分模型能力。在此评估过程中，人工考虑模型响应之间的可见差异（例如格式、长度或详细程度）或其他直观的质量差异。2) 对选定数据的提示词进行部分清理。由于所有提示词都来自真实用户数据，它们可能包含格式问题或不恰当的措辞，需要人工清理以确保数据适合创建可用的基准。具体的数据统计和类别信息见附录 A.1。

### 3.2 SenseJudge

#### 3.2.1 概述

SenseBench 提供了一个以人为中心的环境，我们采用多模型生成后成对评判的方式来支持两个任务：(1) 以用户为中心的偏好对齐和 (2) 模型排名。我们引入了 SenseJudge，一种个性化的成对评判方法，在这两个任务中都表现出色。SenseJudge 首先从一小部分标注好的 (query, chosen, rejected) 对中提取一系列人类偏好。每个偏好引导裁判通过相同的成对实例，与人工标签匹配最佳的偏好集被保留为蒸馏出的、可泛化的偏好集。接下来，我们概述了我们评判框架的组成部分，包括输入输出格式、偏好生成以及偏好集的选择和应用。

#### 3.2.2 输入输出格式

对于 SenseJudge，输入 I = {q, (r₁, r₂), p} 包含一个查询 q、一对响应 (r₁, r₂) 和一个偏好 p。目标输出 O = {judgment, analysis} 产生一个评判结果和相应的分析，具体指示根据给定的偏好 p，r₁ 还是 r₂ 更优。基于先前的研究 [Dong et al., 2024; Zheng et al., 2023b]，包含“平局”可能会对模型性能产生负面影响，因此我们假设模型总是能根据偏好区分响应。

#### 3.2.3 偏好构建

我们使用 Deepseek-R1 [Guo et al., 2025] 将标注的成对数据中捕捉到的隐式人类偏好蒸馏成显式的文本偏好。具体来说，我们向 LLM 提供一小部分人工标注的成对示例，并提示它生成一个偏好陈述，解释用户为何可能偏爱一个响应而非另一个。这些偏好的示例见附录 A.3。每个成对样本生成一个偏好。然后将这些偏好纳入数据中，以创建完整的个性化