BridgeAlign：弥合人文与社会科学中的偏好对齐

# BridgeAlign：桥接人文与社会科学领域的偏好对齐

来源：https://arxiv.org/html/2607.27366
Ru Peng1, Haokai Xu1, Xijun Gu1, Tianyu Zhao3, Zhiting Fan1, Yawen Zeng1, Yihong Zhuang3, Jinyang Zhang2,4, Kexin Yang2, Jian Wu5, Hao Chen1,2, Junyang Lin2, Dayiheng Liu2\corresponding, Junbo Zhao1\corresponding

###### 摘要

虽然面向大型语言模型（LLMs）的数据合成已十分普遍，但它主要针对具有可验证答案的领域，忽视了开放式的人文与社会科学（HSS）领域——在这些领域中，细致的质量判断远比客观正确性更为重要。这使得偏好对齐成为广泛 HSS 任务的自然范式。然而，现有方法要么成本高昂，要么并非针对广泛的 HSS 学科量身定制。为此，我们提出了 BridgeAlign，它是面向广泛 HSS 学科的首批偏好对齐流程之一，包含三个阶段：i）*种子策展*：通过基于启发式/LLM 的过滤和文本精炼，从网络语料库中策展 HSS 种子文档；ii）*偏好数据合成*：通过基于角色的指令反转和问答一致性检查生成偏好三元组；iii）*偏好优化*：超越朴素的人类 vs 模型启发式方法，首先将偏好植根于 HSS 质量准则，然后通过受控质量退化生成过渡性响应，形成近边界偏好对，以实现更细粒度的质量判别。通过对超过 210K 条合成偏好样本进行对齐，BridgeAlign 使 Qwen3-8B 在 17 个基准测试中对抗 11 个强基线取得了最佳平均成绩——重要的是，它同时领先于人类偏好和基于知识的能力，二者之间没有任何取舍，这一点得到了大量实验的支持，并可通过现有理论进行解释111我们将发布所有数据、代码和模型，以促进社区研究。

## 1 引言

数据质量和多样性对于大型语言模型（LLMs）至关重要。然而，人工标注的昂贵成本（Liu et al. 2024a (https://arxiv.org/html/2607.27366#bib.bib3)）使得数据合成成为一种极具吸引力的替代方案。现有工作主要聚焦于具有标准答案的可验证任务，例如数学（Yu et al. 2024 (https://arxiv.org/html/2607.27366#bib.bib9)）、代码（Austin et al. 2021 (https://arxiv.org/html/2607.27366#bib.bib10)）、工具使用（Cai et al. 2023 (https://arxiv.org/html/2607.27366#bib.bib11)）和表格数据（Zhao et al. 2025 (https://arxiv.org/html/2607.27366#bib.bib12)）。相比之下，开放式的人文与社会科学（HSS）任务长期以来一直被忽视。HSS 数据缺乏标准答案，质量评估需要细致入微的人类判断，而非客观正确性。因此，偏好对齐范式（Ouyang et al. 2022 (https://arxiv.org/html/2607.27366#bib.bib92); Rafailov et al. 2024 (https://arxiv.org/html/2607.27366#bib.bib93)）天然适用于 HSS 任务，这激发了对偏好数据的需求。然而，现有偏好数据集要么依赖人工标注（Fan et al. 2018 (https://arxiv.org/html/2607.27366#bib.bib53)），要么依赖成本高昂的专有模型（Cui et al. 2023 (https://arxiv.org/html/2607.27366#bib.bib55)），导致数据稀缺问题仍未解决。尽管诸如 Self-rewarding（Yuan et al. 2024 (https://arxiv.org/html/2607.27366#bib.bib14)）等方法利用 LLM 自我评估其响应以进行迭代直接偏好优化（DPO）训练，Magpie（Xu et al. 2024 (https://arxiv.org/html/2607.27366#bib.bib41)）则通过聊天模板诱导指令生成，从评分响应构建偏好对，但它们都忽略了 HSS 场景，也未能对其所需的细粒度、类人判断进行建模。与此同时，Weaver（Wang et al. 2024a (https://arxiv.org/html/2607.27366#bib.bib15)）和 PersonaHub（Ge et al. 2024 (https://arxiv.org/html/2607.27366#bib.bib34)）等 HSS 相关工作只关注较狭窄的创意写作或角色扮演，而非更广泛的 HSS 领域。

据我们所知，很少有工作探索过跨广泛 HSS 学科的合成偏好对齐。为了填补这一空白，我们遵循官方学科分类法222（即广泛认可的 QS 学科分类法中的*艺术与人文*和*社会科学*类别，我们从中识别出所有 HSS 学科：https://www.topuniversities.com/subject-rankings）聚焦于 14 个 HSS 领域，并提出了 BridgeAlign（见图 1 (https://arxiv.org/html/2607.27366#S2.F1)），它是面向广泛 HSS 学科的首批偏好对齐流程之一。BridgeAlign 旨在构建一个规模充足（超过 210K 样本）、具有广泛领域和内容多样性、高质量多维度和细致偏好区分度的数据集，因此需要多个阶段：1）我们通过启发式过滤、HSS 分类、专家制定的质量准则以及配备评估的文本精炼，从网络资源中策展干净的*种子文档*。2）接着，我们应用基于角色的指令反转，生成多样化的指令和相应的反转文档，然后通过问答一致性检查确保指令保真度，形成偏好三元组 ⟨instruction, seed document, inverted document⟩ \langle\text{instruction, seed document, inverted document}\rangle。然而，在这些三元组上朴素地将人类手写内容视为偏好、将模型生成内容视为被拒绝，即 H-MPO，容易导致模型利用表面的来源线索而非真实质量。3）为了克服这一经验性启发式方法，我们引入了基于准则的偏好优化（RubricPO），将偏好植根于 HSS 质量准则评分。然而，RubricPO 揭示了一个显著的质量差距：种子文档常常包含网络噪音，而反转文档可能因模型亲和效应（Li et al. 2025 (https://arxiv.org/html/2607.27366#bib.bib50)）而被高估。这种容易区分的对（“简单”负样本）为学习细粒度质量特征提供的信号有限。因此，我们引入了桥接偏好优化（BridgePO），这是 BridgeAlign 的核心，它沿着人文维度对种子文档和反转文档中得分较高的那个进行受控质量退化，从而生成*过渡性文档*，产生更难以区分、近边界的“困难”负样本，鼓励模型捕捉细微的质量差异。实验上，我们在 Qwen3-8B、Llama3.1-8B-Instruct 和 Qwen2.5-14B-Instruct 上训练 BridgeAlign，并在覆盖九项核心 LLM 能力的 17 个主流基准测试上进行评估。在 Qwen3-8B 上，BridgeAlign 各变体在 11 个强基线中取得了最佳平均性能，同时在人类偏好和基于知识的任务上双双领先。为了验证鲁棒性，我们对偏好优化变体、模型架构和规模以及数据扩展效应进行了全面消融。在数据层面，BridgeAlign 合成数据在文本长度、词汇丰富度和语义多样性方面优于基线；在 HSS 任务上，偏好对齐范式也始终优于指令微调范式。附录进一步报告了关于 token 预算和 HSS 特异性的受控测试，并借鉴现有 LLM 数据合成和 DPO 的理论来解释观察到的实验模式。最后，利用我们的 HSS 质量准则，我们观察到对齐后的模型捕捉到了细粒度的质量特征，在人文维度上取得了一致但适度的提升。总体而言，我们的贡献如下：
- •据我们所知，我们率先开展了面向广泛 HSS 学科的偏好数据合成与优化工作，填补了 LLM 对齐中的一个关键空白。
- •我们提出了新颖的 BridgePO 范式，它将准则引导的受控质量退化应用于高质量样本，构建近边界的*困难*负样本，用于细粒度的 HSS 对齐，其中 RubricPO 作为中间产物。
- •BridgeAlign 在覆盖 9 项 LLM 能力的 17 个基准测试中取得了最佳平均成绩，其有效性得到了广泛实证分析的验证，并可通过现有理论加以解释。

## 2 相关工作

#### 开放域任务
与可验证任务不同，开放域任务缺乏标准答案，需要细致的人类判断，这使得数据收集和合成极具挑战性。现有工作有限且仅关注狭窄方面：1）-*写作*：简单故事生成（Eldan and Li 2023 (https://arxiv.org/html/2607.27366#bib.bib13)）、创意写作（Wang et al. 2024a (https://arxiv.org/html/2607.27366#bib.bib15)）；2）-*对话系统*：面向电商的任务型对话（Qian et al. 2025 (https://arxiv.org/html/2607.27366#bib.bib16)）、小样本对话摘要（Lu et al. 2025 (https://arxiv.org/html/2607.27366#bib.bib46)）、多轮多主题对话（Lee et al. 2025 (https://arxiv.org/html/2607.27366#bib.bib49)）；3）-*角色扮演*：10 亿人格构建（Ge et al. 2024 (https://arxiv.org/html/2607.27366#bib.bib34)）；以及 4）-*长上下文*：超长上下文生成（Bai et al. 2024 (https://arxiv.org/html/2607.27366#bib.bib59)）。总体而言，开放域研究仍未得到充分探索，且较为碎片化。

#### 偏好对齐
偏好对齐引导 LLM 输出符合人类偏好的结果，主要涉及偏好数据生成和偏好优化。在数据生成方面，代表性工作包括人工构建的数据集，如*WritingPrompts*（Fan et al. 2018 (https://arxiv.org/html/2607.27366#bib.bib53)），它将 Reddit 提示与人类撰写的故事配对；混合数据集，如*Ultrafeedback*（Cui et al. 2023 (https://arxiv.org/html/2607.27366#bib.bib55)），它聚合开源提示并采用 GPT-4 评估多模型响应；以及合成方法，如 Constitutional AI（Bai et al. 2022 (https://arxiv.org/html/2607.27366#bib.bib149)）和 RLAIF（Lee et al. 2023 (https://arxiv.org/html/2607.27366#bib.bib150)），它们无需直接人工标签即可生成偏好信号。近期方法如*SynthQuestions*（Zhu et al. 2025 (https://arxiv.org/html/2607.27366#bib.bib57)）和*Magpie*（Xu