一种智能体AI框架克服大语言模型在眼底照相青光眼检测中的根本性局限

# 一种智能体AI框架克服了大语言模型在眼底照相青光眼检测中的根本局限性
来源：https://arxiv.org/abs/2608.07651
作者：Jalil Jalili (https://arxiv.org/search/cs?searchtype=author&query=Jalili,+J),Hossein Taghizad (https://arxiv.org/search/cs?searchtype=author&query=Taghizad,+H),Anuwat Jiravarnsirikul (https://arxiv.org/search/cs?searchtype=author&query=Jiravarnsirikul,+A),Christopher Bowd (https://arxiv.org/search/cs?searchtype=author&query=Bowd,+C),Akram Belghith (https://arxiv.org/search/cs?searchtype=author&query=Belghith,+A),Raheleh Kafieh (https://arxiv.org/search/cs?searchtype=author&query=Kafieh,+R),Christopher A\. Girkin (https://arxiv.org/search/cs?searchtype=author&query=Girkin,+C+A),Sally L\. Baxter (https://arxiv.org/search/cs?searchtype=author&query=Baxter,+S+L),Robert N\. Weinreb (https://arxiv.org/search/cs?searchtype=author&query=Weinreb,+R+N),Linda M\. Zangwill (https://arxiv.org/search/cs?searchtype=author&query=Zangwill,+L+M),Mark Christopher (https://arxiv.org/search/cs?searchtype=author&query=Christopher,+M)

查看 PDF (https://arxiv.org/pdf/2608.07651)

> 摘要：大语言模型（LLMs）在医学影像解读方面展现出潜力，但存在幻觉、准确性有限以及运行间不一致的问题。我们开发并验证了一种智能体AI框架，将LLMs与专用深度学习工具相结合，用于从眼底照相中进行青光眼检测。该工作流包含三个步骤：（1）LLM初步评估；（2）函数调用以调用专用工具进行图像质量（QAModel、FundaQ-8）、青光眼分类（SwinV2-Tiny）以及视盘/视杯分割（SegFormer-B0）；（3）LLM反思，将初步印象与工具输出整合。两个LLM（Gemini 2.5 Flash、GPT-5.4 mini）在两个公共数据集（ORIGA，n=100；RIM-ONE-v3，n=100）上、在未裁剪和裁剪视野条件下进行了评估；所有图像均由一名设盲的、接受过专科培训的青光眼专家独立分级。智能体工作流在所有条件下将分类准确率提高了16至47个百分点，与专家的差距缩小到6个百分点以内；在RIM-ONE-v3上，最佳配置与专家88%的准确率持平。仅使用LLM的方法在两个方面失败：GPT-5.4 mini表现出正向偏倚（灵敏度95-100%，特异度0-5%），而Gemini 2.5 Flash在运行之间呈现随机变化；智能体工作流纠正了这两个问题。杯盘比误差下降15%-50%（MAE从0.156-0.228降至0.104-0.132），与专家分级的相关性从弱相关（r=0.12-0.39）上升到中等至强相关（r=0.59-0.84）。运行间一致性从接近随机（kappa低至-0.01）提高到接近完美（kappa高达0.96）。将LLMs与专用工具相结合，解决了仅使用LLM方法的关键局限性，包括过度诊断和运行间变异性。两个LLM均获得了收益，表明该方法在不同骨干网络上具有泛化能力，并可能预示着医学AI从单体模型向编排式多智能体系统的转变。

## 提交历史

来自：Jalil Jalili \[查看电子邮件 (https://arxiv.org/show-email/345ac49b/2608.07651)\] **\[v1\]** 2026年8月7日星期五 17:33:12 UTC（17,491 KB）