论文页面 - 审计多模态LLM评分者：临床序数评分中的集中趋势偏差

来源：https://huggingface.co/papers/2605.16386

摘要

大语言模型在评估临床评估时表现出对集中趋势的系统性偏差，尤其影响认知障碍筛查中关键极端分数的准确性。

多模态大语言模型（LLMs）在临床环境中作为自动评估工具的应用日益增多，但它们在临床序数量表上的评分行为仍不明确。我们对比了三个前沿LLM家族与有监督深度学习模型在时钟绘制测试（CDT）图像评分上的表现，使用两个公开数据集和Shulman标准。尽管完全微调的Vision Transformers在校准方面表现最佳（MAE 0.52，容差1内准确率91%），但零样本LLM在基于容差的一致性上仍具竞争力（GPT-5 MAE 0.67，容差1内准确率92%），尽管绝对误差更高。然而，按分数分析显示，所有三个LLM家族均表现出明显的集中趋势效应（系统性端点压缩）：预测系统地压缩向量表中间值，低端（分数0到1）高估，高端（分数5到4）低估。该效应不成比例地影响临床关键极端值，而这些极端值的准确评分对认知障碍筛查决策影响最大。针对性消融实验表明，无论是覆盖全分数范围的少样本示例，还是从提示中移除临床术语，都无法消除该效应。我们的发现将LLM作为评判者的偏差文献从NLP评估扩展到临床评估，并强调在部署基于LLM的评分者于高风险筛查流程之前，需要进行校准感知评估和后验校准。

查看arXiv页面 (https://arxiv.org/abs/2605.16386)查看PDF (https://arxiv.org/pdf/2605.16386)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.16386)

在你的agent中获取此论文：

hf papers read 2605.16386

没有最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2605.16386以从本页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2605.16386以从本页面链接。

引用此论文的Spaces0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2605.16386以从本页面链接。

包含此论文的收藏0

没有收藏包含此论文

将论文添加到收藏 (https://huggingface.co/new-collection)以从本页面链接。