优化大型语言模型用于药物警戒中的因果关系评估：开发一种性能指标作为贝叶斯超参数优化的目标

arXiv cs.CL 论文
llm pharmacovigilance causality-assessment bayesian-optimization gpt-5.2 naranjo-score hyperparameter-optimization

摘要

本文提出了一种优化GPT-5.2温度的方法，用于药物警戒中的Naranjo因果关系评估，通过贝叶斯超参数优化和一种新颖的复合指标（EWACS）实现了显著的一致性改进。

arXiv:2607.03704v1 公告类型：新 \n 摘要：背景：不断增长的个体病例安全报告（ICSR）数量加大了对可扩展自动化因果关系评估的需求。大型语言模型（LLM）展现出潜力，但在临床要求较高的任务上性能仍不理想，且推理时超参数优化尚未得到研究。目的：开发一种高斯过程（GP）兼容的优化目标，并研究温度优化是否能提高LLM与专家在FAERS ICSR的Naranjo因果关系评估上的一致性。方法：对723例分层FAERS病例进行了专家因果关系评估。使用链式思维（CoT）提示对OpenAI的GPT-5.2进行了评估。开发了四种复合指标：加权余弦相似度（WCS）、信息加权一致性评分（IWAS）、熵加权一致性与余弦相似度评分（EWACS）以及共识加权余弦相似度（CWCS），并采用基于概率改进（PoI）采集函数的GP代理进行贝叶斯优化，温度范围[0, 2]。结果：GPT-5.2在基线（T=0）时优于之前的生物医学LLM，在Naranjo算法的第5个问题上达到74.1%的一致性，第10个问题上达到65.4%。熵分析确定这两个问题是唯一有信息量的优化目标。温度未显示系统性群体效应（β=0.002，p=0.959）。EWACS引导的贝叶斯优化将因果关系分类一致性从45.0%提高到72.0%（提升27个百分点），其中可疑病例提升最大（提升42.9个百分点）。结论：EWACS被确定为最佳的GP兼容指标。不存在普遍的最优温度表明LLM性能主要由ICSR内容驱动，但病例特定的温度选择产生了有意义的改进，支持温度优化用于LLM辅助的药物警戒。
查看原文
查看缓存全文

缓存时间: 2026/07/07 04:38 

# 优化大型语言模型用于药物警戒中的因果关系评估：开发性能指标作为贝叶斯超参数优化的目标
来源：https://arxiv.org/abs/2607.03704
查看 PDF（https://arxiv.org/pdf/2607.03704）

> 摘要：背景：个体病例安全报告（ICSR）数量的增长加剧了对可扩展自动化因果关系评估的需求。大型语言模型（LLM）展现出潜力，但在临床要求较高的任务上表现仍不理想，且推理时超参数优化尚未被研究。目标：开发一种适用于高斯过程（GP）的优化目标，并探究温度优化能否提高LLM与专家在FAERS ICSR的Naranjo因果关系评估上的一致性。方法：对723例分层FAERS病例进行了专家因果关系评估。使用思维链（CoT）提示评估OpenAI的GPT-5.2。开发了四种复合指标：加权余弦相似度（WCS）、信息加权一致性评分（IWAS）、熵加权一致性与余弦相似度评分（EWACS）以及共识加权余弦相似度（CWCS）；并采用基于高斯过程代理模型与改进概率（PoI）采集函数的贝叶斯优化，在温度范围[0, 2]内进行优化。结果：GPT-5.2在基线（T=0）时表现优于先前的生物医学LLM，在Naranjo算法的第5题和第10题上分别达到74.1%和65.4%的一致性。熵分析确定这两个问题是唯一具有信息价值的优化目标。温度在总体水平上未表现出系统性效应（β = 0.002，p = 0.959）。基于EWACS的贝叶斯优化将因果关系分类一致性从45.0%提升至72.0%（+27个百分点），其中“可疑”类别提升最大（+42.9个百分点）。结论：EWACS被确定为最适合GP的指标。由于不存在通用的最优温度，LLM性能主要受ICSR内容驱动，但针对特定病例的温度选择仍带来了有意义的改进，支持在LLM辅助的药物警戒中进行温度优化。

## 提交历史

来自：Maurizio Sessa 博士 \[查看电子邮件（https://arxiv.org/show-email/fc202b9a/2607.03704）\] **\[v1\]** 2026年7月4日 星期六 04:49:14 UTC（7,705 KB）

相似文章

在标准化病例中评估大语言模型在动态临床决策中的表现

Hugging Face Daily Papers

研究人员提出了MedSP1000，这是一个包含1638个病例的交互式基准，源自标准化患者场景，用于评估大语言模型作为动态临床代理在多轮问诊中的表现。结果显示，即使是最佳模型（GPT-5.5）也仅完成了60.4%的专家评分项，表明当前的大语言模型在临床实践中尚不够可靠。