新技术让AI模型边学边瘦、边学快

# 新技术让 AI 模型边学边瘦、边学边快 来源：https://news.mit.edu/2026/new-technique-makes-ai-models-leaner-faster-while-they're-still-learning-0409 训练大型人工智能模型成本高昂，不仅是金钱，还包括时间、能源和计算资源。传统上，要获得一个更小、更快的模型，要么先训练一个庞大的模型再裁剪，要么从零开始训练一个小模型但接受较弱的性能。 MIT 计算机科学与人工智能实验室（CSAIL）、马克斯·普朗克智能系统研究所、欧洲学习与智能系统实验室、ETH 以及 Liquid AI 的研究人员现已开发出一种新方法，完全绕开了这种权衡——在训练过程中压缩模型，而非训练结束后。 这项名为 [CompreSSM](https://arxiv.org/abs/2510.02823) 的技术针对一类被称为**状态空间模型**的 AI 架构，这类模型支撑着从语言处理到音频生成和机器人技术等各种应用。研究人员借鉴控制理论中的数学工具，能够识别模型中哪些部分在发挥作用、哪些是累赘，从而在训练早期就精准剔除不必要的组件。 "这本质上是一种让模型在训练过程中变得越来越小、越来越快的技术，"该论文的第一作者、电气工程与计算机科学博士生、CSAIL 附属研究员 Makram Chahine 说道，"在学习的同时，它们也在摆脱对自身发展无用的部分。" 关键洞见在于，这些模型中不同组件的相对重要性在训练过程中 surprisingly 早就趋于稳定。研究团队使用一种称为 **Hankel 奇异值**的数学量来衡量每个内部状态对模型整体行为的贡献程度，他们证明只需约 10% 的训练过程就能可靠地排序哪些维度重要、哪些不重要。一旦这些排序确立，不太重要的组件就可以安全丢弃，剩余 90% 的训练就能以一个小得多的模型的速度进行。 "这项工作的激动人心之处在于，它将压缩从马后炮变成了学习过程本身的一部分，"资深作者、MIT 教授兼 CSAIL 主任 Daniela Rus 表示，"不是先训练一个大模型再想办法缩小，CompreSSM 让模型在学习过程中自主发现高效的结构。这是构建 AI 系统的一种根本性不同的思路。" 结果令人瞩目。在图像分类基准测试中，压缩模型保持了与完整尺寸模型几乎相同的准确率，同时训练速度提升高达 1.5 倍。一个被压缩至原始状态维度约四分之一的模型在 CIFAR-10 基准上达到 85.7% 的准确率，而从头以该较小尺寸训练的模型仅为 81.8%。在 Mamba 这一最广泛使用的状态空间架构上，该方法实现了约 4 倍的训练加速，将一个 128 维的模型压缩至约 12 维，同时保持有竞争力的性能。 "你能获得大模型的性能，因为在预热阶段捕捉了大部分复杂动态，然后只保留最有用的状态，"Chahine 说，"模型仍能达到比从头训练小模型更高的水平。" CompreSSM 与现有方法的区别在于其理论基础。传统的剪枝方法先训练完整模型再事后剥离参数，意味着你仍需支付训练大模型的全部计算成本。知识蒸馏是另一种流行技术，需要将一个大型"教师"模型训练完成，再在其上训练一个较小的"学生"模型，本质上使训练工作量翻倍。CompreSSM 通过在训练中期做出有根据的压缩决策，避免了这两种成本。 团队将 CompreSSM 与两种替代方法进行了正面比较。与近期提出的谱技术 Hankel 核范数正则化（用于促进紧凑的状态空间模型）相比，CompreSSM 速度提升超过 40 倍，同时获得更高的准确率。正则化方法将训练速度降低了约 16 倍，因为它需要在每个梯度步骤进行昂贵的特征值计算，即便如此，所得模型性能仍不理想。在 CIFAR-10 上与知识蒸馏相比，CompreSSM 在高度压缩模型上优势明显：在较小的状态维度下，蒸馏模型出现显著准确率下降，而 CompreSSM 压缩模型保持接近完整的性能。而且由于蒸馏需要在每个训练步骤对教师和学生都进行前向传播，即使其较小的学生模型也比完整尺寸的基线训练得更慢。 研究人员从数学上证明了，得益于 Weyl 定理的应用，单个模型状态的重要性在训练过程中平滑变化，并实证展示了这些状态的相对排序保持稳定。这些发现共同给予从业者信心：早期被识别为可忽略的维度不会突然在后期变得关键。 该方法还附带一个务实的安全网。如果压缩步骤导致意外的性能下降，从业者可以回退到先前保存的检查点。"这让人们能够控制愿意以多少性能为代价，而不必定义一个不太直观的能量阈值，"Chahine 解释道。 该技术存在一些实际边界。CompreSSM 最适用于内部状态维度与整体性能之间存在强相关性的模型，而这种特性因任务和架构而异。该方法在多输入多输出（MIMO）模型上尤为有效，因为这些模型的状态大小与表达能力之间关系最强。对于逐通道的单输入单输出架构，收益较为有限，因为这些模型本身对状态维度变化就不太敏感。 该理论最适用于线性时不变系统，尽管团队已开发出扩展方案以应对日益流行的输入依赖、时变架构。由于状态空间模型家族延伸至线性注意力等架构——这是作为传统 Transformer 替代方案的日益受关注的领域，潜在的应用范围相当广泛。 Chahine 及其合作者将这项工作视为一块垫脚石。团队已证明对 Mamba 等线性时变系统的扩展，未来方向包括将 CompreSSM 进一步推向线性注意力机制中使用的矩阵值动态系统，这将使该技术更接近当今大多数大型 AI 系统所基于的 Transformer 架构。 "这必须是第一步，因为这里的理论简洁，方法可以保持原则性，"Chahine 说，"然后再扩展到人们如今在工业界使用的其他架构。" "Chahine 及其同事的工作为现代状态空间模型的压缩提供了一个引人入胜、理论扎实的视角，"未参与该研究的 ELLIS 研究所图宾根首席研究员、马克斯·普朗克智能系统研究所独立研究组负责人 Antonio Orvieto 表示，"该方法证明这些模型的状态维度可以在训练过程中有效缩减，且控制理论的视角能够成功指导这一过程。这项工作开辟了未来研究的新途径，所提出的算法有潜力成为预训练大型基于 SSM 模型时的标准方法。" 这项工作已被 2026 年国际学习表征会议（ICLR）接收为[会议论文](https://arxiv.org/abs/2510.02823)，将于本月晚些时候发表。该研究部分由马克斯·普朗克 ETH 学习中心、Hector 基金会、波音公司和美国海军研究办公室资助。