通过知识蒸馏增强时间序列分类的深度学习模型

arXiv cs.LG 论文
time-series classification knowledge-distillation deep-learning model-compression ucr-archive

摘要

本文研究了在UCR Archive上使用FCN、Inception和ConvTran架构进行时间序列分类的知识蒸馏，展示了显著的参数减少和性能维持。

arXiv:2607.06796v1 公告类型：新 摘要：深度学习在包括时间序列分析、计算机视觉和自然语言处理等多个领域取得了显著成功。然而，最先进架构的高计算和内存需求给资源受限环境中的部署带来了挑战。知识蒸馏（KD）通过将知识从大型教师模型转移到更小、更高效的学生模型，同时保持竞争性性能，解决了这一问题。在这项工作中，我们研究了KD在时间序列分类（TSC）中的有效性，涉及三种架构：经典的全卷积网络（FCN）、卷积Inception模型和基于Transformer的ConvTran模型。我们在UCR Archive（最大的时间序列数据集基准库）上评估了我们的方法，通过修改三种架构的组件（如卷积滤波器、Inception模块和注意力头）。我们的结果一致表明，KD对三种架构中中等复杂度的学生模型最为有效：蒸馏后的FCN学生模型参数减少了38倍，蒸馏后的Inception学生模型在参数减少42%的情况下实现了与教师模型几乎相同的性能，而具有2个注意力头的蒸馏后ConvTran学生模型通过蒸馏得到了最显著的改进。为了鼓励进一步研究和可重复性，我们在 https://github.com/MSD-IRIMAS/KD-4-TSC 提供了我们的实现。
查看原文
查看缓存全文

缓存时间: 2026/07/09 07:44 

# 通过知识蒸馏增强时间序列分类深度学习模型
来源：https://arxiv.org/abs/2607.06796
查看 PDF (https://arxiv.org/pdf/2607.06796)

> 摘要：深度学习在包括时间序列分析、计算机视觉和自然语言处理等多个领域取得了显著成功。然而，最先进的架构对计算和内存的高需求给资源受限环境下的部署带来了挑战。知识蒸馏（KD）通过将知识从大型教师模型迁移到更小、更高效的学生模型，同时保持竞争性能，解决了这一问题。在本工作中，我们研究了KD在三种架构下对时间序列分类（TSC）的有效性：经典的全卷积网络（FCN）、卷积Inception模型以及基于Transformer的ConvTran模型。我们在UCR Archive（最大的时间序列数据集基准库）上评估了我们的方法，通过修改三种架构中的卷积滤波器、Inception模块和注意力头等架构组件。我们的结果一致表明，KD对三种架构中中等复杂度的学生模型最为有效：蒸馏后的FCN学生模型参数量减少了38倍，蒸馏后的Inception学生模型以42%更少的参数实现了几乎与教师模型相同的性能，而拥有2个注意力头的蒸馏后ConvTran学生模型通过蒸馏获得了最显著的提升。为鼓励进一步的研究和可重复性，我们将实现代码提供于以下链接：此https网址 (https://github.com/MSD-IRIMAS/KD-4-TSC)。

## 提交历史

来自：Javidan Abdullayev [查看电子邮件 (https://arxiv.org/show-email/ec929651/2607.06796)] **\[v1\]**2026年7月7日 星期二 20:51:22 UTC (1,116 KB)

相似文章

KDFP：大语言模型知识蒸馏的第一性原理方法

arXiv cs.LG

KDFP：大语言模型知识蒸馏的第一性原理方法 来源：https://arxiv.org/html/2610.10854 Ryan Swift & Konstantinos Psounis单位：Thomas Lord计算机科学系单位：南加州大学单位：美国加利福尼亚州洛杉矶市 90007邮箱：[{ryanswif,kpsounis}@usc.edu](mailto:) ###### 摘要 知识蒸馏是一种成熟的技术，通过利用更大、更强的教师模型的表示来训练小型、高效的学生模型，从而提升其能力。近期关于大语言模型（LLM）蒸馏的研究大多聚焦于蒸馏后训练阶段习得的能力，例如指令遵循、思维链推理和工具使用。这导致大语言模型通用知识蒸馏领域存在巨大的研究空白，而通用知识蒸馏对于开发适用于边缘设备部署的高效且注重隐私的系统至关重要。我们采用第一性原理的方法，评估了以往研究中的经验教训，并进行了新的探索，以开发适用于现代大语言模型的蒸馏方法。我们提出了KDFP，这是一种面向大语言模型白盒通用知识蒸馏的新方法。实验结果表明，KDFP在9个基准测试上超越现有方法1.6%–4.9%，并通过临时参数削减将训练效率提升最高达99.1%。

通过自适应互惠知识蒸馏发现和保持类别相关知识

arXiv cs.LG

本文提出自适应互惠知识蒸馏（AR-KD），这是一种新方法，通过关系对齐简化教师模型的输出分布，从而改善从教师到学生的知识传递，在CIFAR-100和ImageNet-1k数据集上实现了高达7.13%的准确率提升。

让知识蒸馏的成本低到足以大规模运行

Hugging Face Blog

Multiverse Computing 发布了一篇论文，介绍如何通过离线 top-K logits 和融合的分块 KL 损失来降低 LLM 知识蒸馏的成本，从而减少大规模蒸馏时的显存占用。

并非所有时间步都同等重要：脉冲神经网络的选择性对齐知识蒸馏

arXiv cs.LG

提出针对脉冲神经网络的选择性对齐知识蒸馏（SeAl-KD），该方法通过均衡错误时间步上的竞争logits并基于置信度和时间步间相似性重新加权时间对齐，选择性地对齐类别级别和时间知识，在静态和神经形态数据集上相较于现有蒸馏方法实现了一致的改进。