标签
CausalGate引入了一种方法,通过因果干预测量Transformer子层的重要性,并将其蒸馏为静态标量门控,实现高效推理且无运行时开销,优于现有的剪枝和路由方法。
一位退休工程师提出了蓝图蒸馏(BPD)方法,将昂贵的教师分析与学生压缩分离,适用于Kimi K3等大型MoE模型,从而允许复用压缩蓝图来生成多种规模的学生模型。
本文介绍了Neural Atom Prevalence(NAP),一种用于结构化节点级模型选择的贝叶斯框架,该框架在神经网络中实现了高稀疏性、高准确性和不确定性量化。
本文首次从数学上证明,低秩分解与量化在结合用于LLM压缩时并非正交,会导致性能下降,并提出了一种新颖的对角粘合方法(DAM)来减轻这种损失。
会话自适应正交蒸馏(SAOD)是一种将7440亿参数模型(1.5TB)压缩至100GB以下的技术,大幅降低存储和推理成本。
一条推文介绍了五种关键的LLM量化技术(RTN, GPTQ, AWQ, LLM.int8(), QAT),用于在有限硬件上适配大型模型,并引用了一篇综合性研究论文。
Meta的论文表明,量化推理模型常常失败,因为压缩使它们对正确答案产生怀疑,但通过对“wait”或“but”等犹豫词施加轻微惩罚,可以将推理长度缩短12-23%,同时保持或提高准确性。
本文提出了一种针对LLM的复合稀疏框架,结合了静态参数剪枝与动态令牌级计算,表明混合这两种机制优于单维压缩,并能延迟性能退化。
详细介绍了一种在微控制器上直接运行拥有13M参数的ASR Conformer模型的方法,突出了边缘AI部署的进步。
KDFlow是一种新颖的大语言模型知识蒸馏框架,采用解耦架构,使用SGLang进行教师推理,FSDP2进行学生训练,相比现有框架实现了1.44倍至6.36倍的加速。
介绍了qZACH-ViT,这是ZACH-ViT的量化感知扩展,具有递归内在解释,以及用于稳定归因梯度的递归归因稳定优化(RASO)。在INT8转换后的MedMNIST数据集上实现了高预测一致性和加速。
PrismML 宣布推出 Bonsai 27B,这是 Qwen3.6 27B 的二值量化版本,可在手机上运行,每个权重仅使用 1.125 比特,声称保留了 89.5% 的智能。该模型正由 @sudoingX 独立测试以验证性能。
作者声称,三元分解的性能与Q4_K_M量化一样好,同时使用稍多的VRAM,并且完全是三元和PTQ,无需QAT。
Prism ML 正在与 Apple 洽谈部署模型缩小技术,使得强大的AI模型能够直接在iPhone上运行,提升隐私性并减少对云端推理的依赖。
EvoLP 是一种面向边缘设备上神经网络模型的自进化延迟预测器,旨在指导模型压缩同时满足严格的延迟约束。它在多个边缘设备和模型变体上均优于先前的方法。
本文提出了一种针对具有适度非结构化稀疏性的大语言模型的高效GPU推理方法。引入了一种三层矩阵存储格式和一个联合利用稀疏张量核心与CUDA核心的SpMM内核,实现了相比SpInfer最高1.64倍的内核级加速,以及相比FlashLLM最高1.41倍的端到端加速。
本文针对低比特整数提出了有符号对称量化方法,该方法将额外的可表示值分配给主要的离群尾,与标准对称量化相比,在不增加推理成本的情况下,改善了大语言模型(LLM)的量化误差和困惑度。
本文提出了一种基于博弈论交互的统一方法,用于解释大型语言模型中的知识蒸馏,发现蒸馏会稀疏化交互,并引入了一种损失函数CIP来提升性能。