pruning

本文介绍了一个基于PyTorch的框架，用于剪枝二值化神经网络，并提出了一种新颖的全局加权剪枝方法，该方法在准确率和剪枝率方面表现优异，使得在像FPGA这样的边缘硬件上进行高效部署成为可能。

本文介绍了校准保持剪枝（CPP），一种增强剪枝以保持保形预测效率的方法，在如DBpedia-14等基准测试上，使用Qwen2.5-1.5B等模型，显示了预测集大小减小和准确度提高。

本文系统评估了LLM压缩方法，并揭示了非对称危害，例如头部知识的不成比例损失和错误答案的置信度增加，这些被标准聚合指标所掩盖。

本文提出激活-剪枝-合并（APM），一个无训练的跨尺度融合框架，通过使用更大的供体模型来改进较小的语言模型，无需语义对齐，在多个基准测试中取得了性能提升。

本文提出了一种针对批量推理中大型推理模型的无需训练自适应剪枝方法，采用周期性 top-k 选择和激活记忆以提高准确性和计算效率。

本文评估了小型语言模型在公平性、鲁棒性、隐私和伦理方面的可信度，对比了预训练SLMs与压缩后的大模型，发现量化比剪枝能更好地保持可信度，且蒸馏可进一步提升可靠性。

本文介绍了几种差异感知剪枝方法（Wisp、Wisp+、Whisper），用于大型语言模型，表明在Llama 2和3.1系列模型（最高405B参数）中，保留输出差异能够提升稀疏化效果。

本文对长时程深度研究智能体中减少Token使用和延迟的剪枝策略进行了系统性研究，表明早期剪枝能带来最大的效率提升，且质量损失很小。

本文实证研究了剪枝、对抗训练和硬件引起的权重故障如何共同影响卷积神经网络的可靠性，发现对抗训练会增加对固定为零故障的敏感性，而剪枝对故障敏感性几乎没有影响。

TaskPress introduces a query-agnostic KV cache compression framework that uses a task guide as a meta-query and quantization scale factors to prune irrelevant tokens, enabling reusable caches across diverse queries with negligible overhead.

SparseKAN is a unified compression method for Kolmogorov–Arnold Networks that prunes basis functions, neurons, and numerical precision under learnable gates, achieving up to 73% parameter reduction and significant latency improvements on software and FPGA hardware.

讨论了苹果的 AFM3 20B 模型架构，该架构使用指令跟随剪枝（Instruction-Following Pruning），每个提示仅激活约 20% 的 MLP 层，并将模型存储在闪存中，以实现高效的设备端推理。

This paper introduces two library combinators, prune and defrel/bank, that bring bottom-up enumeration with observational deduplication to miniKanren relational programming, improving program-by-example synthesis performance.

该 Hugging Face 仓库提供了社区编译的 MiniMax H3（Hailuo 3.0）量化与剪枝权重，使得在拥有 16-24GB 显存的消费级 GPU 上能够进行本地文本/图像/音频到视频的生成。包含 INT4、INT8 和 NVFP4 变体，并附有硬件特定指南。

This paper tests entropy-based pruning for chain-of-thought compression across models and tasks, finding it offers no advantage over random pruning, and that low-entropy token retention only helps on math benchmarks due to numeric tokens. It provides causal evidence that reasoning information is distributed across the full chain rather than concentrated in a few identifiable tokens.

本文提出了公平性剪枝（Fairness Pruning），一种结构干预方法，通过识别差异激活的神经元来定位大型语言模型中GLU-MLP层的群体偏见。将极少数神经元置零会扰乱偏见处理，同时保留推理和通用知识，这表明偏见与能力依赖于可分离的电路。

本文表明，轻度压缩的大语言模型能够通过标准的无数据质量门禁（困惑度、MMLU、输出保真度），但在用作智能体时仍会编造程序步骤，并提出一种无数据双轴筛查方法，以便在部署前检测此类失败。

本文介绍了一种使用多臂老虎机（UCB1和Thompson采样）进行卷积神经网络损失感知的特征图剪枝框架，选择性移除冗余特征图，在降低计算成本的同时保持准确率。

揭示了LLM中的MoE路由遵循类似于哈夫曼编码的频率-多样性定律，并提出了子集差异剪枝（Subset Difference Pruning）来消除功能冗余，实现最优压缩。

本文引入了双重评分，一种增强的得分空间参数化方法，用于从神经网络中提取强彩票子网络。该方法改进了edge-popup和初始剪枝基线，并降低了对稀疏性超参数的敏感性。