标签
详细介绍了一种在微控制器上直接运行拥有13M参数的ASR Conformer模型的方法，突出了边缘AI部署的进步。
KDFlow是一种新颖的大语言模型知识蒸馏框架，采用解耦架构，使用SGLang进行教师推理，FSDP2进行学生训练，相比现有框架实现了1.44倍至6.36倍的加速。
介绍了qZACH-ViT，这是ZACH-ViT的量化感知扩展，具有递归内在解释，以及用于稳定归因梯度的递归归因稳定优化（RASO）。在INT8转换后的MedMNIST数据集上实现了高预测一致性和加速。
PrismML 宣布推出 Bonsai 27B，这是 Qwen3.6 27B 的二值量化版本，可在手机上运行，每个权重仅使用 1.125 比特，声称保留了 89.5% 的智能。该模型正由 @sudoingX 独立测试以验证性能。
作者声称，三元分解的性能与Q4_K_M量化一样好，同时使用稍多的VRAM，并且完全是三元和PTQ，无需QAT。
Prism ML 正在与 Apple 洽谈部署模型缩小技术，使得强大的AI模型能够直接在iPhone上运行，提升隐私性并减少对云端推理的依赖。
EvoLP 是一种面向边缘设备上神经网络模型的自进化延迟预测器，旨在指导模型压缩同时满足严格的延迟约束。它在多个边缘设备和模型变体上均优于先前的方法。
本文提出了一种针对具有适度非结构化稀疏性的大语言模型的高效GPU推理方法。引入了一种三层矩阵存储格式和一个联合利用稀疏张量核心与CUDA核心的SpMM内核，实现了相比SpInfer最高1.64倍的内核级加速，以及相比FlashLLM最高1.41倍的端到端加速。
本文针对低比特整数提出了有符号对称量化方法，该方法将额外的可表示值分配给主要的离群尾，与标准对称量化相比，在不增加推理成本的情况下，改善了大语言模型（LLM）的量化误差和困惑度。
本文提出了一种基于博弈论交互的统一方法，用于解释大型语言模型中的知识蒸馏，发现蒸馏会稀疏化交互，并引入了一种损失函数CIP来提升性能。
本文提出了一种针对大语言模型的结构化剪枝方法，解决了在将非结构化剪枝技术适配到结构化剪枝时出现的分布不匹配、符号信息丢失和异常值影响等问题，在Llama-3-8B和Vicuna-v1.5-13B等模型上实现了相当精度，并获得了1.56-1.57倍的加速。
本推文解释如何使用 dlt 收集追踪数据，并通过四个步骤用更小的 1.7B 模型替换 744B 参数的智能体。
本文研究了在UCR Archive上使用FCN、Inception和ConvTran架构进行时间序列分类的知识蒸馏，展示了显著的参数减少和性能维持。
解释了前沿模型后训练流程中蒸馏的三种用途：将大模型压缩成小模型、合并强化学习专家、以及自我学习。还包括一篇详细说明每个方法对应哪些模型的文章。
本文提出了一种基于可控性-可观测性的框架，通过减少隐藏状态冗余来压缩深度神经网络，在MNIST和CIFAR-10数据集上实现了显著压缩，且精度损失极小。
NVIDIA 的论文介绍了 Puzzle-75B-A9B，这是一种压缩的混合 MoE 模型，能够在保持质量的同时将服务器吞吐量提高一倍，从而实现大型语言模型的成本高效部署。
NVIDIA 发布了 Nemotron-Labs-3-Puzzle-75B-A9B，这是一种从 Nemotron-3-Super 衍生而来的压缩混合 MoE 大型语言模型，实现了约 2 倍更高的服务器吞吐量和更高的并发性，同时在推理、编码和长上下文基准测试中保持强劲的准确度。
本文提出阈值门控（TG）作为神经非线性的统一原语，表明标准激活函数可以表示为TG的实例。作者通过将预训练模型在各种架构间转换而不进行重新训练来验证其方法，并讨论了硬件优势。