标签
论文提出 WISD（弱化诱导的同策略自蒸馏），通过将大型推理模型与其量化弱化版本进行对比来生成训练信号，在无需特权数据的情况下实现自蒸馏，在数学与代码推理基准上平均提升 4.0–5.5 个百分点，并达到最先进性能。
我们提出 TWIG（具有继承门控的树结构权重），这是一种将每个神经网络权重表示为一条共享离散决策路径终点的表示方法，将剪枝、量化、低秩分解和权重共享统一为一个可编辑对象，并可通过高阶玻尔兹曼机基态求解器进行优化。在大语言模型层误差相同的情况下，其加法运算次数比 GPTQ 减少 9–15%。
该论文系统比较了 2:4 半结构化稀疏化与量化在 LLM 推理中的取舍，发现在仍有更低精度可用时，加入 2:4 稀疏化既更慢又更不准确；只有在达到硬件量化下限（如 FP8/NVFP4）后，2:4 稀疏化才展现出 1.3–1.7× 的线性层加速价值，且需通过重训练恢复质量。
提出了SparseDecoding，一种面向解码阶段的训练无关剪枝框架，通过在自回归生成时收集校准数据对齐Hessian分布，并开发优化的N:M稀疏矩阵向量核，在A100上实现最高1.48倍端到端解码加速。
Nokia 应用研究部门与 Florida State University 的研究人员提出了大模型压缩（剪枝、量化、蒸馏）的能力缩放定律：通过共享密度-响应关系，拟合剪枝预测模型所需的测量量减少一半，同时在 Pythia 和 OLMo-2 模型上与完整拟合的回归结果差异不超过每 token 0.020 nats。
发布了 Qwen3.8-Flash-Next 的 GSQ-RCO 量化和专家剪枝版本，在降低比特率的同时达到 BF16 级别的性能，并支持在更小硬件上部署。
RAZOR是一种无需训练的方法，用于在混合专家大语言模型中通过评估功能可替换性来剪枝可替换的专家，在推理任务上相比现有方法能取得更优性能。
ToMoE是一种方法，它通过动态结构剪枝将密集的大型语言模型转换为MoE模型，在不进行权重更新的情况下实现强劲性能，并超越了最先进的剪枝和MoE技术。
本文介绍Magnitude Profile (MP)评分，这是一种无需校准的方法，用于剪枝Transformer中的注意力头，在如OPT-6.7B和RoBERTa-large等模型上相较于现有方法实现更好的困惑度，且无需前向传播或校准数据。
本文介绍了Neural Spectral Capacity (NSC)，一种基于奇异值谱的无需训练的指标，用于评估和优化神经网络架构，并提出了动态规划方法以在约束下进行最优设计。
tool-prune是一个工具，用于在调用本地LLM模型前精简工具Schema，减少92%的提示令牌并避免幻觉，无需额外LLM轮询。
本文提出了FairCompressAgent，一个智能体框架，它使用语言模型规划器来优化用于FPGA部署的公平感知模型压缩，平衡准确性、公平性和效率。
本文提出了神经网络中一次性幅度剪枝和计算自适应早退出的理论保证，通过渐近和深度网络模型分析了计算-准确性权衡并推导了缩放定律。
LILA是一种用于大型语言模型的无校准结构化剪枝方法，利用潜在谱几何对神经元重要性进行评分，在无需校准数据的情况下实现竞争性能。
本文提出了一种损伤感知的多臂老虎机方法，用于视觉和语言Transformer的结构化训练后剪枝。实验表明，与基线方法相比，该方法在多种模型和数据集上表现出降低的性能下降。
论文介绍了一个统一的贝叶斯变分框架，结合 spike-and-slab 稀疏性和高斯混合量化，用于在大神经网络中实现高压缩率，同时最小化精度损失。
Debias-SparseGPT是一种针对大型语言模型的偏差感知剪枝方法，能够在保持模型性能和效率的同时，降低如SparseGPT等压缩技术引发的偏差放大效应。
本文提出一种通用优化引擎（GOE），通过整合多种模型压缩技术，加速资源受限边缘设备上的AI推理，并证明压缩方法的选择影响部署在无GPU的CPU上的语言模型的任务准确性。
本文探讨了 Qwen 3.8 Next AI 模型中的 Engram 组件，详细描述其为一个具有高度偏斜访问模式的 510 亿参数 Zipfian 缓存，并评估了通过频率剪枝进行压缩的优化方法。