论文页面 - X-AuT：面向语音大模型的渐进式音频编码器压缩与跨尺度蒸馏

来源：https://huggingface.co/papers/2609.11412

摘要

X-AuT 通过行为探针、表示对齐、跨尺度蒸馏及 LoRA 适应等方法，在语音大语言模型中渐进式裁剪音频编码器层并恢复精度。

降低音频编码器深度可减少语音大语言模型的推理开销，但移除完整模块会扰动解码器接收的嵌入表示，可能导致删除错误和过早的序列终止错误。我们提出 X-AuT，这是一个渐进式框架，通过短时行为探针选择层组合，并通过表示对齐、跨尺度蒸馏、定时学生策略监督及 LoRA 微调恢复被裁剪的模型。语言模型主干保持冻结，而注意力 LoRA 适配器和绑定的输出嵌入在蒸馏过程中进行适应。训练使用转录一致性管道中一致性最高的数据层，随后在微调阶段进行源重加权。在十个中英公开基准测试中，将 Qwen3-ASR-0.6B 从 18 层音频编码器压缩至 16 层，宏平均错误率从 5.61% 降至 5.27%。14 层模型错误率为 5.75%，音频塔参数减少 20.7%。在相同配置下，1.7B 教师模型平均错误率为 5.55%，而自蒸馏为 8.45%；渐进式 18→14 裁剪优于直接裁剪（5.75% vs. 6.73%）。这些单次运行结果确定了两个实用工作点，并显示精度影响在不同基准测试中存在差异。项目网站：https://xpeng-ai.github.io/x-aut

查看 arXiv 页面 (https://arxiv.org/abs/2609.11412) | 查看 PDF (https://arxiv.org/pdf/2609.11412) | 项目页面 (https://xpeng-ai.github.io/x-aut) | GitHub0 (https://github.com/XPENG-AI/X-AuT) | 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.11412)

引用本文的模型 1

XPENG-AI/X-AuT 自动语音识别

• 0.9B 参数 • 约 3 小时前更新 • 3 个引用 (https://huggingface.co/XPENG-AI/X-AuT)

引用本文的数据集 0

无关联数据集

在数据集 README.md 中引用 arxiv.org/abs/2609.11412 可将其链接至此页面。

引用本文的 Space 1

包含本文的合集 0

无包含本文的合集

将本文添加至合集 (https://huggingface.co/new-collection) 可将其链接至此页面。