衡量共享决策实践（OPTION12）：对开源小型LLMs（OS-sLLMs）在更好隐私与可持续性方面的研究

# 测量共享决策实践 (OPTION12)：对开源小语言模型 (OS-sLLMs) 实现更好隐私与可持续性的研究
来源：https://arxiv.org/html/2607.06127
Tamara Wit1†, Lifeng Han1,2†, Carly Heipon1, David Lindevelt2 Anne Stiggelbout1, Suzan Verberne2 代表 4D PICTURE 联盟 BDS, 莱顿大学医学中心, 荷兰 莱顿高级计算机科学研究所, 莱顿大学, 荷兰 †共同第一作者，通讯: \{t\.wit, l\.han\} @ lumc\.nl

测量共享决策实践 (OPTION12)：对开源小语言模型 (OS-sLLMs) 实现更好隐私与可持续性的研究

Tamara Wit1†, Lifeng Han1,2†, Carly Heipon1, David Lindevelt2Anne Stiggelbout1, Suzan Verberne2代表 4D PICTURE 联盟BDS, 莱顿大学医学中心, 荷兰莱顿高级计算机科学研究所, 莱顿大学, 荷兰†共同第一作者，通讯: \{t\.wit, l\.han\} @ lumc\.nl

## 已被接收的摘要

背景：共享决策 (SDM) 在临床咨询中很重要，患者与临床医生讨论并决定治疗方案。这一 SDM 过程通常使用 OPTION12 工具进行编码，这是一种基于观察者的工具，包含 12 个条目，采用 5 点李克特量表评分。此编码由人类编码员完成。编码耗时且编码员之间常存在分歧。我们探索了开源保护隐私的小语言模型 (OS-sLLMs) 执行编码任务的能力，旨在通过人在回环的方式实现流程自动化。方法：两份编码员对 26 份荷兰黑色素瘤患者与临床医生的咨询记录进行了双重编码。两位人类编码员在独立编码后解决了分歧。为了评估使用 OS-sLLMs 进行 OPTION12 编码的效果，咨询数据被分为开发集和测试集。我们设计了完整的调查框架 (见图1 (https://arxiv.org/html/2607.06127#S3.F1))。其中包括：1) 在开发集 (11次访谈) 上进行初步研究，用于提示优化和 sLLM 选择。2) 在测试集 (15次访谈) 上部署经过微调的提示和表现最佳的 sLLM (judge-sLLM)，并结合开发集中的少样本示例，要求 judge-sLLM 解决其他 OS-sLLMs 评分之间的分歧。采用 judge-llm 的理由是：它扮演类似第三方人类的角色，解决注释者之间的分歧。我们使用 judge-LLM 而非人类来解决分歧。这旨在模拟人类注释者通过讨论达成共识的过程。我们计划未来研究替代的模型合并方法。首先，对于提示优化，我们使用思维链 (CoTs)、LLM 辅助提示、以及带有样本输出 (少样本) 反馈的人在回环方法。对于 OS-sLLMs，我们同时使用了 1) 通用领域模型 Llama、Gemma 和 Mistral7b，以及 2) 医学领域模型 Meditron 和 Medllama。其次，对于 judge-sLLM 的选择，在系统层面，我们使用 Spearman 和 Pearson 相关系数衡量每个 sLLM 与人类编码的整体相关性。在片段层面，我们还关注了最一致和最不一致的条目。我们将通过讨论评估分数，并结合示例对 OS-sLLMs 的行为进行分类，进行定性和定量分析。最后，我们在测试集上部署 OS-sLLMs，并使用 judge-sLLM 来解决分歧。

初步结果：五个 OS-sLLMs 展示了以下发现：

- • 三个通用领域 OS-sLLMs 表现优于两个医学领域模型，后者均产生幻觉且未能精确遵循提示，表明医学 OS-sLLMs 需要进一步发展。
- • Mistral7b 在与人类编码达成 4 项共识方面优于另外两个模型 Gemma3:12b 和 Llama3.1:8b，后者仅为 3 项。
- • 这三个模型 (gemma3:12b, llama3.1:8b, mistral7b) 在这 12 个条目上与人类编码的整体 Pearson 相关系数为 (0.83, 0.80, 0.64)，Spearman 等级相关系数为 (0.81, 0.78, 0.61)。
- • 对于 OS-sLLMs 与人类编码员一致的条目，OS-sLLMs 在某些情况下能生成与人类相同的句子，但在其他情况下，它们能生成比人类更好的引用。

影响：本研究报告了首次使用 OS-sLLMs 对荷兰黑色素瘤患者咨询记录进行 OPTION12 SDM 评分的研究发现。此类 OS-sLLMs 的性能对我们的患者参与度测量任务具有前景和价值。它们在某些条目上与人类编码员一致，我们正在研究不一致之处，以判断是否能从 OS-sLLMs 获得不同输入，或者能否微调 OS-sLLMs 使其在其他条目上达到人类水平。长期来看，我们期望微调后的 OS-sLLMs 能达到人类水平性能，并部署用于编码任务，同时保留人在回环进行验证和质量控制。¹¹¹ 基于 ISDM2026 已被接收摘要的扩展工作https://sites.dartmouth.edu/isdm2026

## 会议摘要的扩展工作

## 1 引言

共享决策 (SDM) 对医疗保健非常重要，因为它鼓励患者及其家属参与治疗决策过程 [Stiggelbout 等, 2015 (https://arxiv.org/html/2607.06127#bib.bib23)]。有关于 SDM 指导方针的规范，例如 OPTION12；然而，存在人类注释者的编码负担以及此类手工劳动。

有文章使用 LLMs 进行医疗决策协作，但很少有文章预测实践中 SDM 的水平，我们仅发现一篇关于乳腺癌的研究 [Selvaraj 等, 2025 (https://arxiv.org/html/2607.06127#bib.bib1)]。该研究使用了不同的编码方案 (OPTION5)，并使用了尺寸非常大、成本高昂且存在隐私/伦理隐患的商业 GPT 模型 (GPT-4o, Gemini-1.50pro) 处理患者/医疗数据。

为了促进可持续发展，需要测试较小尺寸的 LLMs 来完成此类任务 (例如，使用 Llama 70b 而非 Llama 405b)；为了保护隐私，需要研究并部署开源、本地的 LLMs。存在一个研究空白：如何利用开源模型更好地测量 OPTION12 SDM 性能，同时保护隐私。在我们的案例中，我们拥有荷兰黑色素瘤患者数据。

我们的研究目标：开源 LLMs 在预测诊所中 SDM 实施水平方面的表现如何？能否通过使用人工标注数据进行微调来提升其性能？此外，能否将 LLMs 整合到此任务中以节省人工标注成本？

研究问题：RQ-1a: 当前最先进的开源小语言模型 (OS-sLLMs) 能否在临床实践中对人类水平的 SDM 实施水平进行标注？RQ-1b: 1) 如果 LLMs 与人类标注者表现不同，它们是否提供了不同的观点，还是只是无意义的输出？2) 如果它们的评分与人类相同，它们是否选择了相同的引用？RQ-1c: 在 OPTION12 的 12 个条目中，LLMs 在哪些条目上表现更好/更差？它们与人类编码的整体相关性水平如何？RQ-1d: 通用领域 LLMs 与医学领域 LLMs 的表现是否有差异？

RQ-2: 使用人工标注数据对 LLMs 进行微调 (或基于示例的学习) 能否帮助它们更好地执行此特定任务 (根据 OPTION12 方案评估 SDM 实施水平)？

RQ-3: 如果 LLMs 能相当可靠地执行此标注任务，我们能否使用它们 (例如 LLMs + 人在回环) 来节省成本？

本研究的主要贡献包括：

- • 首次使用开源小 LLMs 进行 OPTION12 编码的研究。
- • 比较了通用领域 OS-sLLMs 和医学领域 OS-sLLMs 用于 SDM 评估。
- • 发现：医学模型更容易产生幻觉；通用模型表现更好；尽管有领域专门化 (这是一个令人惊讶的结果)。
- • 系统地识别了 SDM 编码错误类别 (分类法)：时间性失败、角色混淆、证据幻觉、评分-证据不匹配、选项误解。
- • 提出了 Judge-LLM 共识框架。

## 2 相关工作

我们描述了 SDM 及 OPTION 量表、区域或领域特定 SDM 以及 LLM 用于 SDM 调查的相关和背景工作。

### 2.1 SDM 与 OPTION 量表

开发用于 SDM 的 OPTION 方案的早期工作包括 [Elwyn 等, 2005 (https://arxiv.org/html/2607.06127#bib.bib2)]，作者设计了用于衡量患者参与 SDM 过程的量表 [Elwyn 等, 2003 (https://arxiv.org/html/2607.06127#bib.bib17)]。

后来，这些设计激发了学术讨论，并适配到医疗保健的不同子领域，例如，心理测量工具中的 SDM [Simon 等, 2007 (https://arxiv.org/html/2607.06127#bib.bib19)] 以及 OPTION5 的心理测量研究 [Barr 等, 2015 (https://arxiv.org/html/2607.06127#bib.bib8)]；用于感知 SDM 的 dyatic OPTION [Melbourne 等, 2010 (https://arxiv.org/html/2607.06127#bib.bib13)]；比较 OPTION 与知情 SDM 工具 [Weiss and Peters, 2008 (https://arxiv.org/html/2607.06127#bib.bib12)]；讨论 OPTION 量表的方法论问题 [Nicolai 等, 2012 (https://arxiv.org/html/2607.06127#bib.bib7)]；OPTION 的收敛效度 [Scholl 等, 2015 (https://arxiv.org/html/2607.06127#bib.bib15)]；OPTION5 与 OPTION12 的比较 [Stubenrouch 等, 2016 (https://arxiv.org/html/2607.06127#bib.bib3)]。早期工作的实验结果表明，OPTION5 分数可能始终高于 OPTION12 分数。我们认为这可能是由于 OPTION12 包含更多需要衡量的方面。在我们当前的研究项目中，我们使用黑色素瘤患者的咨询数据并采用 OPTION12 量表。更多 SDM 综述工作可见 [Scholl 等, 2011 (https://arxiv.org/html/2607.06127#bib.bib11)]；[Couët 等, 2015 (https://arxiv.org/html/2607.06127#bib.bib10)]；[Gärtner 等, 2018 (https://arxiv.org/html/2607.06127#bib.bib16)]；[Ahmad 等, 2020 (https://arxiv.org/html/2607.06127#bib.bib14)]。

### 2.2 区域与领域特定 SDM

另一个与我们的工作相关的研究方向是区域或领域特定的 SDM，因为我们关注的是荷兰黑色素瘤患者。关于区域 SDM，此类工作包括意大利 OPTION 评分的可靠性研究 [Goss 等, 2007 (https://arxiv.org/html/2607.06127#bib.bib9)]、加拿大的 SDM 研究 [Elwyn 等, 2013 (https://arxiv.org/html/2607.06127#bib.bib6)]。针对特定患者，有门诊慢性病护理中的 SDM [Norfu 等, 2020 (https://arxiv.org/html/2607.06127#bib.bib18)]、心血管护理中的 SDM [Sepucha and Scholl, 2014 (https://arxiv.org/html/2607.06127#bib.bib5)]，以及家庭医学住院医师患者咨询的 OPTION 评分 [Pellerin 等, 2011 (https://arxiv.org/html/2607.06127#bib.bib4)]。

### 2.3 LLMs 用于 SDM

研究人员建议 LLMs 通过提供通俗语言的医学评估和证据作为临床医生的协作角色，来辅助 SDM 过程 [Elwyn 等, 2024 (https://arxiv.org/html/2607.06127#bib.bib20)]。

Selvaraj 等 (2025 (https://arxiv.org/html/2607.06127#bib.bib1)) 提出了第一项实证研究，调查大型语言模型 (LLMs) 能否使用 Observer OPTION-5 工具自动化基于观察者的共享决策 (SDM) 评估。该研究评估了来自 GPT、Gemini 和 LLaMA 系列的商业 LLMs，使用了 287 份涉及考虑进行早期乳腺癌手术的女性的临床医生-患者咨询匿名记录。来自随机对照试验的人类评分 OPTION-5 分数被用作参考标准。作者测试了多种提示策略，并使用相关性分析评估了 LLM 生成分数与人类生成分数之间的一致性。

研究发现，GPT-4o 和 Gemini-1.5-Pro 与人类评分达到了中等相关性 (Pearson 相关系数约为 r≈≈0.6)，对应人类评分者之间观察到的一致性的约 75-80% (r = 0.77)。当提示包含详细的条目描述和示例时，性能有所提升，表明提示工程对 LLM 在 SDM 编码任务上的表现有显著影响。此外，模型能够区分高 SDM 实施水平和低 SDM 实施水平的咨询，表明其在自动化质量评估方面具有潜在用途。

这项工作与我们的工作在几个方面有所不同。首先，他们关注的是 Observer OPTION-5 工具，而我们的研究调查的是更细粒度的 OPTION-12 编码方案。其次，他们的工作使用大型商业模型 (GPT-4o 和 Gemini-1.5-Pro)，而我们的研究评估了保护隐私、开源的较小 LLMs (OS-sLLMs)，这些模型可以本地部署。第三，他们的数据集涉及英文的乳腺癌手术咨询，而我们的工作关注荷兰黑色素瘤咨询。最后，他们主要通过评分与人类评分的相关性来评估模型有效性，而我们的研究还额外调查了模型分歧模式、定性错误类别以及 judge-LLM 在解决评分分歧中的潜在作用。

## 3 方法论

参考说明图 1：LLM4SDM 框架概览：上层为开发阶段，下层为模型测试阶段。方法论框架如图 1 (https://arxiv.org/html/2607.06127#S3.F1) 所示，上半部分是开发阶段，下半部分是使用调优后 LLMs 的部署阶段。从左到右，我们从发生决策的黑色素瘤患者咨询记录开始。这些记录已由两名研究人员 (CH/TW) 编码。所有记录均单独编码，并召开共识会议讨论潜在分歧直至达成共识。数据包括三个角色：医生 (DR)、护理提供者 (CG) 和患者 (PT)。我们将编码后的数据分为开发集 (初步研究) 和测试集。对于开发阶段，我们进行了转录预处理以适应 NLP 目的。对于模型配置，我们探索了参数优化、上下文长度和温度调整，以及使用思维链 (CoTs) 的提示。我们选择了一系列开源的较小尺寸 LLMs (OS-sLLMs)，涵盖通用模型和医学模型。使用选定的 OS-sLLMs 和我们的模型配置，我们从初步研究中的每个文件生成自动系统输出 (即注释和理由) 的 SDM 分数。我们将自动注释与人类注释在定量上使用相关系数进行比较，并在定性上考察错误或分歧。在初步研究阶段结束时，我们：1) 对此任务中与 LLMs 相关的问题进行分类；2) 选择表现最佳的 OS-sLLMs 作为判断模型 (Judge-sLLM) 用于下一阶段。

在测试阶段，如方法论图下半部分 (图 1 (https://arxiv.org/html/2607.06127#S3.F1)) 从左右两侧向中间所示，我们首先对测试集中的文档执行与初步研究相同的预处理过程。然后，我们通过基于示例和基于指令的微调，在测试集上部署参数优化的 OS-sLLMs (带或不带 judge) 以获取自动注释。第三，我们使用 Judge-sLLM 解决其他 OS-sLLMs 输出之间的共识，以模拟人类注释者如何执行此项工作。最后，共识后的 LLMs 最终输出将与人类注释进行比较，并在测试集上进行评估。

## 4 开发集上的实验

### 4.1 数据与模型