无配对数据的跨模态知识蒸馏:理论基础与算法

arXiv cs.AI 论文

摘要

本文提出了一种无需配对数据的跨模态知识蒸馏框架,通过对齐特征分布与标签分布,提供了理论保证,并在多模态基准测试中优于先前方法。

arXiv:2606.10504v1 公告类型:新 摘要:跨模态知识蒸馏(CMKD)研究如何将在一个数据类型(如图像)上训练的(大型)教师模型,指导构建在另一个数据类型(如文本/音频)上的(较小)学生模型。现有的CMKD方法通常需要具有对齐语义的配对多模态数据,但获取此类配对数据往往成本高昂且不切实际。为缓解这一限制,我们针对更困难的未配对数据设置,开发了一种新的CMKD框架。具体而言,我们建立了教师模型与学生模型之间的跨模态分布关系,揭示了有效蒸馏的两个基本量:特征对齐和标签对齐。这些量分别从表示分布和预测分布层面刻画了模态间的语义差异。受此启发,我们提出了一个具有理论保证的原则性框架,通过对齐分布而非单个样本来实现有效的跨模态知识蒸馏。在广泛的多模态基准测试上进行的大量实验表明,我们的框架在未配对和配对数据设置中均非常有效,显著优于先前的工作。
查看原文
查看缓存全文

缓存时间: 2026/06/10 06:15

# 跨模态知识蒸馏无需配对数据:理论基础与算法
来源:https://arxiv.org/abs/2606.10504
查看PDF(https://arxiv.org/pdf/2606.10504)

> 摘要:跨模态知识蒸馏(CMKD)研究如何利用在一种数据类型(如图像)上训练的(大型)教师模型来指导建立在另一种数据类型(如文本/音频)上的(较小)学生模型。现有的CMKD方法通常需要具有对齐语义的配对多模态数据,但获取此类配对数据往往成本高昂且不切实际。为缓解这一局限,我们针对更困难的未配对数据场景开发了一种新的CMKD框架。具体而言,我们建立了教师模型与学生模型之间的跨模态分布关系,揭示了有效蒸馏的两个基本量:特征对齐与标签对齐。这两个量分别从表征和预测分布层面刻画了模态间的语义差异。受此洞察启发,我们提出一个具有理论保证的原则性框架,通过对齐分布而非单个样本实现有效的跨模态知识蒸馏。在广泛的多模态基准上的大量实验表明,我们的框架在未配对和配对数据设置下均非常有效,显著超越了先前工作。

## 提交历史

来自:Khiem Tran Trong [查看电子邮件(https://arxiv.org/show-email/9b266a36/2606.10504)] **[v1]** 2026年6月9日星期二 07:29:12 UTC(1,693 KB)

相似文章

CSD:用于跨分词器知识迁移的共同支持集蒸馏

arXiv cs.CL

该论文提出了共同支持集蒸馏(Common-Support Distillation,CSD),这是一种基于 logits 的统一跨分词器知识迁移框架。该框架在教师模型与学生模型之间构建共享支持集,并通过单一目标匹配由此诱导的分布,在多种教师—学生模型配置下均优于现有的跨分词器蒸馏方法。

基于理据引导的知识蒸馏跨语言立场检测

arXiv cs.CL

本文提出了一种基于理据引导的知识蒸馏框架,用于跨语言立场检测,利用大型语言模型的思维链提示,通过双路径蒸馏和对比学习训练一个紧凑的学生模型。

通过自适应互惠知识蒸馏发现和保持类别相关知识

arXiv cs.LG

本文提出自适应互惠知识蒸馏(AR-KD),这是一种新方法,通过关系对齐简化教师模型的输出分布,从而改善从教师到学生的知识传递,在CIFAR-100和ImageNet-1k数据集上实现了高达7.13%的准确率提升。

KDFP:大语言模型知识蒸馏的第一性原理方法

arXiv cs.LG

KDFP:大语言模型知识蒸馏的第一性原理方法 来源:https://arxiv.org/html/2610.10854 Ryan Swift & Konstantinos Psounis单位:Thomas Lord计算机科学系单位:南加州大学单位:美国加利福尼亚州洛杉矶市 90007邮箱:[{ryanswif,kpsounis}@usc.edu](mailto:) ###### 摘要 知识蒸馏是一种成熟的技术,通过利用更大、更强的教师模型的表示来训练小型、高效的学生模型,从而提升其能力。近期关于大语言模型(LLM)蒸馏的研究大多聚焦于蒸馏后训练阶段习得的能力,例如指令遵循、思维链推理和工具使用。这导致大语言模型通用知识蒸馏领域存在巨大的研究空白,而通用知识蒸馏对于开发适用于边缘设备部署的高效且注重隐私的系统至关重要。我们采用第一性原理的方法,评估了以往研究中的经验教训,并进行了新的探索,以开发适用于现代大语言模型的蒸馏方法。我们提出了KDFP,这是一种面向大语言模型白盒通用知识蒸馏的新方法。实验结果表明,KDFP在9个基准测试上超越现有方法1.6%–4.9%,并通过临时参数削减将训练效率提升最高达99.1%。

Switch-KD:面向视觉语言模型的视觉开关知识蒸馏

Hugging Face Daily Papers

Switch-KD提出了一种新颖的视觉开关知识蒸馏框架,通过在共享的文本概率空间内统一多模态知识迁移,高效压缩视觉语言模型。该方法在将0.5B TinyLLaVA学生模型从3B教师模型中蒸馏时,在10个多模态基准测试上实现了平均3.6个百分点的提升。