标签
本文提出了一种针对大语言模型的结构化剪枝方法,解决了在将非结构化剪枝技术适配到结构化剪枝时出现的分布不匹配、符号信息丢失和异常值影响等问题,在Llama-3-8B和Vicuna-v1.5-13B等模型上实现了相当精度,并获得了1.56-1.57倍的加速。
本推文解释如何使用 dlt 收集追踪数据,并通过四个步骤用更小的 1.7B 模型替换 744B 参数的智能体。
本文研究了在UCR Archive上使用FCN、Inception和ConvTran架构进行时间序列分类的知识蒸馏,展示了显著的参数减少和性能维持。
解释了前沿模型后训练流程中蒸馏的三种用途:将大模型压缩成小模型、合并强化学习专家、以及自我学习。还包括一篇详细说明每个方法对应哪些模型的文章。
本文提出了一种基于可控性-可观测性的框架,通过减少隐藏状态冗余来压缩深度神经网络,在MNIST和CIFAR-10数据集上实现了显著压缩,且精度损失极小。
NVIDIA 的论文介绍了 Puzzle-75B-A9B,这是一种压缩的混合 MoE 模型,能够在保持质量的同时将服务器吞吐量提高一倍,从而实现大型语言模型的成本高效部署。
NVIDIA 发布了 Nemotron-Labs-3-Puzzle-75B-A9B,这是一种从 Nemotron-3-Super 衍生而来的压缩混合 MoE 大型语言模型,实现了约 2 倍更高的服务器吞吐量和更高的并发性,同时在推理、编码和长上下文基准测试中保持强劲的准确度。
本文提出阈值门控(TG)作为神经非线性的统一原语,表明标准激活函数可以表示为TG的实例。作者通过将预训练模型在各种架构间转换而不进行重新训练来验证其方法,并讨论了硬件优势。
介绍了可变位宽量化(VBQ),一种训练时的方法,其中每组64个权重通过Gumbel-Softmax松弛学习自己的位宽(1、2、4、8)。VBQ发现了一种异构分配,实现了“更大但更小”的机制,例如,平均位宽1.82的1.31亿参数模型在TinyStories上的困惑度为4.2,击败了5500万FP16模型(困惑度4.4),同时存储减少3.8倍;而1.46B模型在FineWeb-Edu上与593M FP16控制模型表现相当,存储减少约3.7倍。
PuzzleMoE 提出了一种成对双掩码专家合并算法和位级打包技术,用于压缩大型混合专家模型,在保持性能的同时减少存储并加速推理。
提出了Generic TB-Coverage,一种覆盖感知的专家剪枝方法,用于稀疏Mixture-of-Experts语言模型,该方法仅使用通用文本语料库进行校准,并保留跨语料库专家覆盖,从而提高了准确率并减少了困惑度下降。
本文研究了在生物医学领域对混合专家(MoE)模型进行领域特定专家剪枝对效用和事实可靠性的影响。研究发现,适度剪枝能保持领域内效用且不会立即导致可靠性下降,但极端剪枝会增加幻觉风险,且跨领域设置下的泛化能力会迅速恶化。
NVIDIA 的 4 位量化版 Qwen3.6-27B (NVFP4) 相较于完整的 bf16 模型被发现近乎无损,行为差异微小且随机而非系统性,使其成为实用的即插即用替代品。
一位开发人员正在将Gemma 4 31b重建为一个更小的26b模型,通过移除弱SWA层、添加基于注意力的残差网络(来自Moonshot)以及使用topK logit目标进行再训练,旨在实现更好的长上下文和性能。
介绍跨空间蒸馏,这是一种通过轻量级潜在接口Bridge,将知识从现代高容量扩散模型迁移到具有不同潜在空间的紧凑学生模型的方法,无需修改学生主干即可实现质量提升。
一位开发者为llama.cpp的一个分支实现了--skip-layers标志,基于近期论文,允许用户在加载时跳过整个Transformer模块,且性能影响极小。这为在有限硬件上运行大模型提供了另一种方法,与量化和构建时剪枝相辅相成。
FlexMoE提出了一种面向MoE语言模型的一体通用嵌套式专家内部剪枝方法,能够在单次训练中生成多个可部署的子网络,且性能损失极小。
提出了一种名为 Proxy-KD 的新方法,通过代理模型从黑盒大型语言模型(如 GPT-4)中蒸馏知识到较小的模型,超越了传统的黑盒和白盒知识蒸馏技术。
Clark Labs 发布了 Clark Air Sana 1.6B,这是 Sana 1.6B 文本到图像转换器的三值量化版本,体积比 FP16 小 8.6 倍,同时保持接近 FP16 的质量,从而实现高效部署。
Qwen3.5 0.8B使用SpectralQuant的校准感知Q4_K_M量化版,与标准llama.cpp Q4_K_M量化版相比,恢复了96.5%的BF16性能差距。