ArogyaSutra:面向印度语言中多模态医学推理的多智能体框架

Hugging Face Daily Papers 论文

摘要

ArogyaBodha数据集和ArogyaSutra框架通过多样化数据集成和actor-critic多智能体推理,增强了低资源环境下的多语言医学推理能力。

多模态大语言模型(MLLMs)在通用领域展现了有前景的推理能力,但它们在医疗等专业场景中的表现仍然有限,尤其是在多语言和低资源环境下。这一差距在印度农村等地区尤为关键,患者通常用本地印度语表达复杂的医疗问题,并依赖医学图像等多模态输入。现有的以英语为中心的多模态大语言模型难以支持这些用例,限制了公平获取AI驱动医疗辅助的机会。为解决这一挑战,我们引入了ArogyaBodha,一个大规模的多语言多模态医学问答数据集,由八个异构来源构建,涵盖31个身体系统、六种成像模态和21个临床领域,覆盖英语和七种主要印度语言。我们还提出了ArogyaSutra,一个基于actor-critic的多智能体框架,该框架将工具接地与双重记忆机制相结合,实现逐步的、具有推理意识的决策,并使用存储的actor-critic模拟轨迹进行蒸馏。实验表明,我们的数据集和框架提高了所有印度语言的多语言医学推理准确性,消融实验验证了每个组件的贡献。源代码和数据集可在以下网址获取:https://iitp-cse.github.io/ ArogyaSutra/
查看原文
查看缓存全文

缓存时间: 2026/06/12 10:52

论文页面 - ArogyaSutra:面向印度语言的多模态医疗推理的多智能体框架

来源:https://huggingface.co/papers/2606.13572

摘要

ArogyaBodha数据集和ArogyaSutra框架通过多样化数据集成与演员-评论家多智能体推理,增强了低资源环境下的多语言医疗推理能力。

多模态大语言模型(https://huggingface.co/papers?q=Multimodal%20Large%20Language%20Models)在通用领域展现出有前景的推理能力,但在医疗等专业场景中性能仍然有限,尤其是在多语言和低资源场景(https://huggingface.co/papers?q=low-resource%20scenarios)下。这一差距在印度农村等地区尤为关键,患者通常用本地印度语言表达复杂的医疗问题,并依赖医疗图像等多模态输入。现有以英语为中心的多模态大语言模型难以支持此类用例,限制了AI驱动的医疗辅助的公平访问。为应对这一挑战,我们引入了ArogyaBodha,这是一个大规模多语言多模态医疗问答数据集,由八个异构来源构建,涵盖31个身体系统、六种成像模态和21个临床领域,覆盖英语和七种主要印度语言。我们进一步提出了ArogyaSutra,一个基于演员-评论家的多智能体框架,该框架将工具基础(https://huggingface.co/papers?q=tool%20grounding)与双记忆机制(https://huggingface.co/papers?q=dual-memory%20mechanisms)相结合,实现逐步的、推理感知的决策,并使用存储的演员-评论家模拟轨迹进行蒸馏(https://huggingface.co/papers?q=distillation)。实验表明,我们的数据集和框架提高了所有印度语言的多语言医疗推理(https://huggingface.co/papers?q=multilingual%20medical%20reasoning)准确性,消融实验验证了每个组件的贡献。源代码和数据集见:https://iitp-cse.github.io/ ArogyaSutra/

查看 arXiv 页面(https://arxiv.org/abs/2606.13572) 查看 PDF(https://arxiv.org/pdf/2606.13572) 添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2606.13572)

在您的代理中获取这篇论文:

hf papers read 2606.13572

没有最新的CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2606.13572 即可从此页面链接。

引用该论文的数据集0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2606.13572 即可从此页面链接。

引用该论文的 Spaces0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2606.13572 即可从此页面链接。

包含该论文的收藏夹0

没有收藏夹包含此论文

将这篇论文添加到收藏夹(https://huggingface.co/new-collection)以从此页面链接。

相似文章