标签
CAFE提出将CKA特征蒸馏的梯度限制在英语旁路的语言路由适配器中,解决了多语言紧凑ASR中英语与非英语WER的权衡问题,在Open ASR Leaderboard上将平均WER从8.55%降至8.02%。
OmniVAE是一种联合训练的音频-视频VAE,使用分段级对比学习和特征蒸馏来对齐潜在空间,从而提升文本到音频-视频生成中的联合生成质量和同步性。