面向基于证据的计算病理学的多模态智能体协同助手

arXiv cs.AI 论文

摘要

PathPocket是一个多模态AI智能体协同助手,专门用于基于证据的病理学,利用全面的证据语料库和超图,在超过20万个真实病例上超越了现有最先进的方法。

arXiv:2606.08093v1 公告类型:新 摘要:病理学是现代医学的基石,准确的决策高度依赖于循证实践。尽管人工智能(AI)有潜力改变临床工作流程,但AI与循证医学的结合仍未被充分探索,早期的尝试仅限于纯文本的普通医学。在这项工作中,我们提出了PathPocket,一个专门为基于证据的病理学设计的多模态AI智能体协同助手。我们构建了迄今为止最全面的病理学证据语料库,包含约110,472份公开及授权文档,这些文档按照从临床指南到专家意见的严格证据等级结构进行组织。在这个精心分级的基础上,我们构建了一个大规模多模态病理学超图,包含超过455万个实体和710万个关系。作为强大的知识引擎,该超图为协同多智能体推理框架提供了可追溯的证据,该框架整合了输入理解、证据检索、过滤和诊断生成。这使得PathPocket能够无缝解决广泛的临床任务,从纯文本查询到涉及感兴趣区域(ROI)和千兆像素全切片图像(WSI)的复杂多模态诊断。我们在超过20万个真实病例的多维度基准测试上严格评估了该系统,结果显示其显著优于现有最先进方法。更重要的是,广泛的用户研究表明,PathPocket大幅提升了病理学家的诊断准确性和信心。通过将病理学解释直接建立在可验证的文献基础上,PathPocket为未来基于证据的计算病理学提供了一种实用且可扩展的解决方案。
查看原文
查看缓存全文

缓存时间: 2026/06/09 08:54

# A Multi-modal Agentic Co-pilot for Evidence Grounded Computational Pathology
Source: https://arxiv.org/abs/2606.08093
Authors:Zhe Xu (https://arxiv.org/search/cs?searchtype=author&query=Xu,+Z),Zhengyu Zhang (https://arxiv.org/search/cs?searchtype=author&query=Zhang,+Z),Zhiyuan Cai (https://arxiv.org/search/cs?searchtype=author&query=Cai,+Z),Jiahao Xu (https://arxiv.org/search/cs?searchtype=author&query=Xu,+J),Yijie Lin (https://arxiv.org/search/cs?searchtype=author&query=Lin,+Y),Ziyi Liu (https://arxiv.org/search/cs?searchtype=author&query=Liu,+Z),Junlin Hou (https://arxiv.org/search/cs?searchtype=author&query=Hou,+J),Hongyi Wang (https://arxiv.org/search/cs?searchtype=author&query=Wang,+H),Yuxiang Nie (https://arxiv.org/search/cs?searchtype=author&query=Nie,+Y),Ling Liang (https://arxiv.org/search/cs?searchtype=author&query=Liang,+L),Yihui Wang (https://arxiv.org/search/cs?searchtype=author&query=Wang,+Y),Yingxue Xu (https://arxiv.org/search/cs?searchtype=author&query=Xu,+Y),Ronald Cheong Kin Chan (https://arxiv.org/search/cs?searchtype=author&query=Chan,+R+C+K),Li Liang (https://arxiv.org/search/cs?searchtype=author&query=Liang,+L),Hao Chen (https://arxiv.org/search/cs?searchtype=author&query=Chen,+H)

查看 PDF (https://arxiv.org/pdf/2606.08093)

> **摘要:**病理学是现代医学的基石,准确的决策高度依赖于循证实践。虽然人工智能(AI)有潜力变革临床工作流程,但AI与循证医学的交叉领域仍探索不足,现有初步尝试仅限于纯文本的一般医学场景。在这项工作中,我们提出了PathPocket,一个专为循证病理学设计的多模态AI智能体副驾驶。我们构建了迄今为止最全面的病理学证据语料库,包含约110,472份公开和授权文档,这些文档按照从临床指南到专家意见的严格证据等级层次结构组织。基于这一经过精心分级的语料库,我们建立了一个大规模多模态病理学超图,包含超过455万个实体和710万条关系。该超图作为一个强大的知识引擎,为协同多智能体推理框架提供了可溯源的证据,该框架集成了输入理解、证据检索、过滤和诊断生成。这使得PathPocket能够无缝解决广泛的临床任务,从纯文本查询到涉及感兴趣区域(ROI)和千兆像素全切片图像(WSI)的复杂多模态诊断。我们在一个包含超过20万真实病例的多维基准上对该系统进行了严格评估,其性能显著优于现有最先进方法。至关重要的是,广泛的用户研究表明,PathPocket显著提高了病理学家的诊断准确性和信心。通过将病理学解释直接建立在可验证的文献基础上,PathPocket为未来循证计算病理学提供了一种实用且可扩展的解决方案。

## 提交历史

来自:Zhe Xu \[查看邮件 (https://arxiv.org/show-email/819d8534/2606.08093)\] **\[v1\]**2026年6月6日 星期六 10:36:30 UTC (3,285 KB)

相似文章

将零散证据转化为生命科学发现决策

YouTube AI Channels

OpenAI 在 Codex 中推出的全新生命科学模型“GPT-Rosalind”通过协调多个专业子代理,将遗传学、转录组学、安全性和知识产权数据融合为单一证据支持的决策,自主对哮喘药物靶点进行排序。

MEDSYN: 复杂临床病例中多证据综合的多模态大语言模型基准测试

arXiv cs.CL

MEDSYN 是一个多语言多模态基准,用于评估多模态大语言模型(MLLMs)在复杂临床病例上的表现,每个病例最多包含 7 种不同的视觉证据类型。研究表明,虽然前沿模型在鉴别诊断生成方面与人类专家相当,但所有 MLLMs 在最终诊断选择中均存在显著差距,原因是异质临床证据综合能力不足。

使用 GPT-4o 推理能力改革癌症护理

OpenAI Blog

Color Health 开发了一款利用 GPT-4o 推理能力的 AI 医学助手,帮助肿瘤学家识别缺失的诊断信息并优化癌症护理工作流程。该工具使医生能够在约 5 分钟内发现 4 倍多的缺失检验和成像结果,相比之前需要数周,目前正在旧金山加州大学进行初步验证。