论文页面 - ClinFusion：面向整体医学理解的视觉中心多模态大语言模型系统

来源：https://huggingface.co/papers/2607.24743 作者：

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

摘要

多模态大语言模型（MLLMs）在革新临床实践方面潜力巨大，然而将其部署到医疗领域本质上是一个以视觉为中心的挑战：模型必须从异构的2D和3D医学图像中吸收知识，且评估协议需与放射科医生的临床实践保持一致，并提供准确、细粒度且基于事实性的评估。本文中，我们提出ClinFusion——一个专为整体医学理解设计的视觉中心MLLM，系统性地解决了上述局限性。我们提出一种组合式级联视觉编码器架构，其核心为Cascade Spatial-Aware Locality Fusion算子，该算子能在融合编码器内统一处理多样的2D和原生3D医学图像理解。我们进一步引入一个基于视觉的评估框架，包括用于指令遵循评估的MedIF-Bench，以及一种基于感兴趣区域且符合临床实践与事实性的报告生成评估方法。我们证明，ClinFusion在涵盖视觉问答、报告生成和指令遵循的全面2D和3D多模态医学基准测试中——以及在文本医学任务上——均取得了新的最佳性能，在24个基准中的20个上超越了领先的开源医学MLLMs（例如Hulu-Med、Lingshu），并在16个基准中的13个上展现出优于GPT-5.2和Gemini-3-Flash等强大专有模型的多模态能力。此外，ClinFusion还能通过智能体工具使用进一步增强，用于检索增强和工具辅助的临床工作流。由委员会认证的放射科医生进行的盲评证实，ClinFusion生成排名最高的报告，并验证了我们基于RoI的指标在所有考察的自动评估指标中与专家判断的相关性最强。

查看arXiv页面 (https://arxiv.org/abs/2607.24743) 查看PDF (https://arxiv.org/pdf/2607.24743) 项目页面 (https://github.com/alibaba-damo-academy/ClinFusion) GitHub3 (https://github.com/alibaba-damo-academy/ClinFusion) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.24743)

在您的智能体中获取此论文：

hf papers read 2607\.24743

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型README.md中引用arxiv.org/abs/2607.24743以从此页面链接。

引用此论文的数据集0

无数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2607.24743以从此页面链接。

引用此论文的Space0

无Space链接此论文

在Space README.md中引用arxiv.org/abs/2607.24743以从此页面链接。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。