通过约束混合策略GroupDRO实现公平的系统提示选择

# 基于约束混合策略 GroupDRO 的公平系统提示选择

Mengyu Xu1, Qiaoxin Yang2, Zhihan Liu3, Ruiyao Xu3, Zachary Liu4, Kezhen Chen5, Chongyang Gao3（通讯作者）

###### 摘要

大型语言模型越来越多地用于信息检索，但以不同方式表述的语义等价问题可能收到质量差异显著的答案。系统提示被广泛用于引导响应行为，但它们通常针对平均情况质量进行优化，因此某些问题表述仍然可能收到不完整或低质量的答案。为解决这一问题，我们提出了一个用于系统提示选择的约束混合策略 GroupDRO 框架。该框架不优化系统提示文本，而是对现有池中的系统提示分配权重，以最小化跨评估指标和组的最坏情况信息质量损失，同时约束平均损失使其接近基于平均的选择。由于池的生成与选择是解耦的，该方法适用于任何系统提示池，并且可以利用互补系统提示的集成，而非单一提示。在五个 LLM 和两个双语医疗与消费金融基准上，与无缓解相比，约束方法平均将总体均值、最差 25% 均值和最差值分别降低了 13.1%、13.2% 和 13.7%，同时整体质量与平均选择基本持平。其多提示权重揭示了指标-组对之间的互补性。代码和数据可在 https://github.com/Rainxu09/equitable-system-prompt-selection 获取。

## 1 引言

大型语言模型（LLM）越来越多地用于健康和个人财务等高影响场景中的日常信息检索。在这些场景中，同一底层问题可以有多种表述方式。理想情况下，语义等价的问题应获得质量相当的答案。然而，在实践中，响应质量会随表述方式的不同而有显著差异，已有工作表明，LLM 对内容等价的输入可能产生不同的响应，具体取决于语言、领域素养、资源约束、方言、人设或框架信号（Xu等人 2026 (https://arxiv.org/html/2608.04339#bib.bib5)；Hofmann等人 2024 (https://arxiv.org/html/2608.04339#bib.bib10)；Gupta等人 2024 (https://arxiv.org/html/2608.04339#bib.bib12)）。这种差异具有公平性维度：其表述方式表明领域素养较低的用户，恰恰是最难以自行填补缺失或被稀释信息的人，而健康素养较低与较差的健康结果相关（Berkman等人 2011 (https://arxiv.org/html/2608.04339#bib.bib11)）。一种常见的缓解措施是添加系统提示来引导响应行为，例如指示模型保留关键信息或保持可操作细节。然而，无论是人工编写还是由自动提示优化器生成（Zhou等人 2023 (https://arxiv.org/html/2608.04339#bib.bib7)；Yang等人 2024 (https://arxiv.org/html/2608.04339#bib.bib13)；Guo等人 2024 (https://arxiv.org/html/2608.04339#bib.bib24)；Agrawal等人 2026 (https://arxiv.org/html/2608.04339#bib.bib15)），系统提示通常都是根据其平均响应质量来选择的。一个平均表现良好的系统提示仍可能使特定的问题表述获得不完整或低质量的答案，而基于平均的选择机制无法检测或纠正这一点。我们在选择阶段解决这一问题。强候选系统提示已经大量存在，它们来自人工设计、LLM 生成或自动提示优化器，因此实际问题不是如何再编写一个提示，而是如何用好现有提示。此外，没有单一系统提示能完美适配所有问题表述，因此一种组合互补提示的方法能提供任何单一重写提示都无法提供的保护。我们在一个实用场景中定义该问题：给定有限的候选系统提示池、预定义的评估组以及每个候选的离线得分，我们询问如何从池中选择，使最弱的组也能获得高质量答案。这些条件使问题可精确求解，而非一个学习任务。对于有限池和完全观测的得分，不存在需要泛化的