pruning

MiniMax-M3 PRISM Dynamic-Quant 配方通过逐张量敏感性排序，将428B参数模型从约450GB压缩至119GB，并计划进一步剪枝至60-80GB，以便本地部署。

SpenseGPT 提出了一种实用的一次性剪枝方法，用于大语言模型，可在推理过程中同时支持稀疏和密集的 GEMM，提升效率。

本文是AI工程全景系列的中篇，详细介绍了推理优化、模型瘦身（量化、蒸馏、剪枝、MoE）和投机解码等核心技术，综述了从硬件到工程栈的最新进展。

Sigma-Branch 将预训练的稠密网络重构成一个层次化二叉树结构，包含共享主干、路由器和专用叶子节点。在 CIFAR-100、ImageNet-1K 和 ModelNet40 上，每次推理的活跃参数减少 58-60%，同时精度下降不超过基线精确率的 1.72 个百分点。

IntentKV提出了一种针对多轮LLM Agent的跨轮次意图感知KV缓存剪枝方法，通过维护会话级别的查询记忆来高效剪枝缓存，且不损失精度，显著减少了token使用量和KV读取次数。

TENP 提出了一种用于混合专家大语言模型的结构化剪枝框架，该框架保留重要专家，对较不重要的专家进行神经元剪枝，从而在 Qwen 和 DeepSeek 模型上实现高稀疏度且精度损失极小。

本文介绍了Fisher-MoE，一种通过使用Fisher重要性裁剪FFN层中间维度来压缩混合专家模型的方法，实现了45%的权重内存减少和21%的吞吐量提升，且未造成显著的能力损失。

来自 UiT 和奥斯陆大学的研究人员提出了一种可微分 NAS 框架，能够联合优化 LLM 压缩中的架构配置与混合精度量化策略。与先 NAS 后量化的顺序基线方法相比，该框架在七项推理任务中可实现最高 1.4 倍的推理加速，或最高 6% 的精度提升。

本文提出了一种基于马尔钦科-帕斯图尔随机矩阵的深度神经网络剪枝方法，提供了理论保证，并在 ImageNet 上对 ViT 和 CNN 架构实现了高精度保持，仅需极少的微调。

作者认为，AI代理的记忆应侧重于数据剪枝而非囤积，借鉴人类记忆类型（感觉记忆、短期记忆、长期记忆），并指出模仿人类记忆可以在减少令牌用量的同时维持高质量上下文。

一个系统框架通过专家评分、选择、分组和知识蒸馏将混合专家模型转换为稠密架构，相比传统剪枝方法实现了更优的性能和效率。

NVIDIA Model Optimizer 是一个库，它使用量化、蒸馏、剪枝和推测解码等技术压缩深度学习模型以加速推理。它支持 Hugging Face、PyTorch 和 ONNX 模型，并与 NVIDIA 推理框架集成。

Graft 是一个无需训练的框架，通过结合剪枝与检索来增强推测解码，从而提高接受率和推理速度。在短上下文基准测试中，其加速比最高可达5.41倍，在Qwen3-235B上相比EAGLE-3的提升最高可达21.8%。

本文研究神经网络结构可塑性中剪枝与增长之间的不对称性，表明新生单元比现有单元受到更弱的梯度信号，并提出改进整合的干预措施。

提出了自剪枝键值注意力（SP-KV），一种通过学习预测键值对未来效用的机制，动态剪枝KV缓存，将内存使用和解码速度提升3-10倍，且性能下降极小。模型和效用预测器通过下一词元预测进行端到端联合训练。

本文引入了层表示动力学（LRD），这是一个包含三个测量家族的框架，用于分析语言模型中各层隐藏状态的变化。应用于30个MTEB任务上的31个模型，LRD揭示了架构差异，并实现了无标签模型选择和推理时层剪枝。

本文探讨了在预训练阶段压缩大规模混合专家（MoE）模型的结构化剪枝和知识蒸馏技术。研究表明，渐进式剪枝以及结合多标记预测蒸馏等策略，能够提升下游任务的性能。例如，通过将Qwen3-Next-80A3B压缩为更高效的23A2B模型，展示了这一方法的有效性。

作者分享在 162 MB Transformer 上把 FP16 + ONNX + 剪枝用到极致却收益递减的经历，求教下一步该选量化、蒸馏、低秩分解还是硬件级技巧。

研究人员推出了 PIE，这是一种面向跨层转码器（CLT）的原生框架，通过基于特征归因的剪枝技术实现高效的电路发现。该方法在特征选择上实现了约 40 倍的压缩，同时成功保持了 IOI 和 Doc-String 任务的行为保真度。

STOP 方法利用 KV-cache 状态提前剪枝注定失败的推理轨迹，token 用量降 70%，在 1.5B–20B 模型上提升 AIME 与 GPQA 准确率。