论文页面 - 基于令牌的双视角融合与大型视觉模型适应方法用于乳腺癌分类

来源：https://huggingface.co/papers/2607.06309

摘要

一种以令牌为中心的双视角学习框架，在冻结的视觉变换器（Vision Transformer）中统一了基于提示的适应与跨视角融合，以改善基于乳腺X线图像的乳腺癌分类。

准确的乳腺X线乳腺癌分类需要有效整合头尾位（CC）和内外斜位（MLO）视角的互补信息，这两种视角能更完整地表征乳腺异常。然而，现有的多视角学习方法通常依赖特征级聚合或单阶段交叉注意力，这可能会混淆视角特定表示与共享表示，并将交互限制在有限的网络深度。为了解决这些限制，我们提出了一种以令牌为中心的双视角学习框架，在冻结的视觉变换器骨干网络中统一了基于提示的适应与跨视角融合。该框架将视角间交互重新构建为结构化的令牌级通信，其中专用融合令牌通过交叉注意力显式编码CC与MLO视角间的双向信息交换，充当跨视角依赖关系的中间载体，而非依赖直接的特征融合。与传统方法在单层进行融合不同，融合模块被插入到多个变换器深度，从而实现编码器层级上的渐进式重复交互。融合令牌被重新整合到令牌序列中，并由后续变换器层进一步精炼，从而促进互补信息的分层传播，同时保留视角特定的结构。在VinDr-Mammo和CMMD数据集上的实验表明，该方法在线性探测、仅提示适应以及传统融合基线之上均取得了一致改进。在VinDr-Mammo BI-RADS分类任务中，该框架实现了50.40%的F1分数和0.8090的AUC，其中在二分类场景下AUC比双视角融合基线高出0.10。消融研究进一步验证了基于令牌的融合和多深度交互设计的有效性。

查看 arXiv 页面 (https://arxiv.org/abs/2607.06309)查看 PDF (https://arxiv.org/pdf/2607.06309)GitHub0 (https://github.com/PartAI-Projects/CrossViewTokenFusion)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.06309)

在你的Agent中获取这篇论文：

hf papers read 2607\.06309

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

没有模型关联此论文

请在模型README.md中引用arxiv.org/abs/2607.06309以在此页面建立链接。

引用该论文的数据集0

没有数据集关联此论文

请在数据集README.md中引用arxiv.org/abs/2607.06309以在此页面建立链接。

引用该论文的Space0

没有Space关联此论文

请在Space README.md中引用arxiv.org/abs/2607.06309以在此页面建立链接。

包含该论文的合集0

没有合集包含此论文

请将此论文添加到一个合集 (https://huggingface.co/new-collection)中以在此页面建立链接。