论文页面 - 冻结的模型，进化的专长：从部署经验中进行模型无关学习的多模态医疗 AI

来源：https://huggingface.co/papers/2610.09146 发布于 10 月 6 日

·

由 https://huggingface.co/yexiaohe 提交

yx (https://huggingface.co/yexiaohe) 于 10 月 9 日发布

摘要

大语言模型（LLM）和视觉-语言模型（VLM）通常在部署后便被冻结，因此无法从它们所解决的案例中学习。这一问题在医学领域尤为令人担忧，因为新的临床证据、更新的指南和新疗法可能会改变已有的实践方式。微调可以更新模型，但它需要访问模型权重并进行额外训练。无参数方法虽然避免了训练，但可能在固定的验证集上过拟合、缺乏可靠的领域知识，或因仅以文本形式保存经验而丢失视觉细节。为了解决这些局限性，我们提出了一个模型无关的框架，允许冻结的 LLM 和 VLM 通过三种外部专长形式从部署经验中学习：一个引导推理和工具使用的技能（Skill）、一个存储由先前案例或可信外部证据支持的可靠事实的知识记忆（Knowledge Memory），以及一个保留视觉示例并引导模型将每个检索到的案例与当前图像相关联的多模态知识库（Multimodal Knowledge Baseth）。我们不依赖固定的验证集，而是采用一种验证策略：只有当某个更新在新案例上有帮助且不会降低之前案例上的性能时，才予以保留。在涵盖临床诊断、临床工作流、医学推理以及医学和非医学视觉推理的六个基准测试上，并使用四个开放权重和闭源基础模型，我们的框架在在线部署期间将医学任务上的性能比基础模型提升了高达 34.2%，能够泛化到未见过的案例，无需进一步优化即可迁移到其他模型，并且在非医学领域同样有效。

查看 arXiv 页面　查看 PDF　添加到收藏

在你的 agent 中获取此论文：

hf papers read 2610.09146

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.09146 即可将此论文链接到此页面。

引用此论文的数据集 0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.09146 即可将此论文链接到此页面。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.09146 即可将此论文链接到此页面。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集即可将此论文链接到此页面。