受偏好并非更安全：成对偏好作为临床安全性的代理指标并不可靠

# 成对偏好是临床安全性的不佳代理指标
来源：https://arxiv.org/html/2608.02617
## 受偏好不等于更安全：成对偏好是临床安全性的不佳代理指标

David Sasu  
LiGHT Laboratory, EPFL, Lausanne, Switzerland  
Alexandra Kulinkina  
LiGHT Laboratory, EPFL, Lausanne, Switzerland  
Lars Henning Klein  
LiGHT Laboratory, EPFL, Lausanne, Switzerland  
Mary\-Anne Hartley  
LiGHT Laboratory, EPFL, Lausanne, Switzerland  

###### 摘要

我们评估了临床医生的成对偏好能否为大语言模型（LLM）评估中的临床安全性提供可靠信号。所用专家反馈通过 MOOVE（大规模开放在线验证与评估）平台收集，该平台是一个由临床医生主导的评估平台，在采集多标准评分量表评分的同时记录盲法成对偏好。在 MOOVE 中，临床医生在离散的−2到+2量表上对各项标准打分，其中负值表示内容在临床上不安全、具有误导性或存在其他不可接受的问题。基于来自 28 多个国家的736余位临床医生对13个LLM输出进行的26,804次成对偏好判断，我们发现临床医生的偏好并不能很好地代表关键安全评估信号。在成对偏好下排名靠前的模型，在*无害性*和*准确性*等关键安全维度上仍可能表现出较高比例的临床意义失败（≤−1）。这些失败在不同专科间分布不均，形成了特定领域的临床风险“禁区”，而这类风险在全局摘要或单一数字排行榜中并不可见。

随后，我们考察了可能导致这种分离的几个因素，包括在更长、更复杂提示词上的表现、拒绝与升级行为，以及成对判断中关键安全特征与表面层面特征的相对贡献。在所有临床成对比较中，相当大比例的偏好投票不携带正向安全信号；特征分解表明，表面层面的响应特征对偏好变异的解释程度略高于关键安全评分量表差异，而行为线索的贡献可忽略不计。在这些分析的基础上，我们提出了一种临床调整的偏好排名，将成对偏好与源于评分量表的临床反馈相结合，从而产生比原始Bradley–Terry偏好强度更具安全意识的排序。更广泛地说，我们的研究结果支持以下评估实践：（i）将偏好与安全性分开；（ii）直接报告关键安全失败率；（iii）在排序用于临床决策的语言模型时纳入基于临床的调整。

## 1 引言

大语言模型（LLM）正越来越多地用于临床工作流程，包括文档辅助、患者沟通和临床决策支持。然而，临床部署与基准测试式评估存在诸多差异，这些差异使得表面上的进步容易被误解。现实世界的临床问题往往表述不完整且对上下文高度敏感，受当地资源、患者偏好和指南的影响。因此，安全的答案需要在模糊情境下采取保守行为、具备校准后的不确定性，并进行适当的上下文寻求。在这种情况下，细小的事实错误、遗漏的危险信号或过于自信的措辞都可能造成严重的下游损害。

尽管风险如此之高，评估实践仍常常依赖全局排名、胜率或偏好分数等聚合信号来判断哪个模型“更好”。问题并不在于聚合本身，而在于一个隐含假设：临床医生的偏好与临床质量中关键安全维度是一致的。在本文中，我们考察了这一假设的失效情形：即使评估者是临床医生，成对偏好排名也无法可靠地反映临床安全性。当偏好排行榜被解读为临床安全性的代理指标时，它可能会偏向有说服力或呈现良好的响应，而非更安全、临床上更保守的响应。这种联合采集方式的关键优势在于，它能够直接审计偏好信号是否与*无害性*和*准确性*等核心临床标准一致。因此，我们的分析将评估本身作为研究对象：我们量化偏好与评分量表之间的一致性，报告具有临床意义的失败率（临床医生认为客观上存在危害或不准确的答案占比），并表明即使全局摘要看似良好，风险仍可能集中在特定专科。我们并不假定专家偏好自动就是有效的安全信号，而是直接检验这一假设。

## 2 相关工作

临床LLM的性能通常通过基准分数和聚合指标（如MMLU、PubMedQA、MedMCQA）来概括，这些指标假设了受限格式和单一最佳答案[8 (https://arxiv.org/html/2608.02617#bib.bib6),10 (https://arxiv.org/html/2608.02617#bib.bib7),15 (https://arxiv.org/html/2608.02617#bib.bib8)]。一项针对医学LLM评估研究的大规模综述发现，大多数基准依赖这些静态问答格式，与真实世界的锚定有限[23 (https://arxiv.org/html/2608.02617#bib.bib93)]。然而，在临床环境中，不确定性、表述不完整和安全性权衡使得这些摘要变得脆弱。一个模型可能在知识型基准上表现良好，但在开放式临床场景中仍然脆弱。先前的研究表明，这些基准倾向于奖励模式识别而非稳健推理[20 (https://arxiv.org/html/2608.02617#bib.bib73),19 (https://arxiv.org/html/2608.02617#bib.bib98)]。

基于偏好的信号在LLM的评估和优化流程中占据核心地位，包括RLHF和DPO[3 (https://arxiv.org/html/2608.02617#bib.bib5),14 (https://arxiv.org/html/2608.02617#bib.bib9),18 (https://arxiv.org/html/2608.02617#bib.bib10)]。在安全关键场景中，强制选择的偏好判断也可能不可靠。一个响应之所以获胜，可能并非因为它更安全或更准确，而是因为它更流畅、更冗长、更自信或格式更好。先前的研究表明，基于偏好的系统可能继承此类风格偏见，包括冗长和谄媚效应，这引发了对成对获胜是否始终是潜在质量有效指标的担忧[30 (https://arxiv.org/html/2608.02617#bib.bib14),16 (https://arxiv.org/html/2608.02617#bib.bib50),9 (https://arxiv.org/html