sparsification

EDiS 提出一个边缘不相交子图稀疏化框架，将一次性结构提取与逐轮图组合分离，从而在降低 GNN 稀疏化训练开销的同时保持拓扑多样性，并在 19 个基准上取得最佳平均成绩。

本文提出了TSS，一个针对特定领域大型语言模型推测解码的目标端稀疏化框架，通过跳过选定的目标层来提升推理效率和性能。

本文介绍了一种分层解耦方法，用于神经网络全连接层的结构化稀疏化。与联合方法相比，该方法提升了鲁棒性并减少了过度剪枝。

本文提出了 CABS+，一种增强的模型合并方法，利用冲突感知稀疏化和自适应权重分配来提高多任务模型合并的效率和性能，在 27 个数据集上相较于先前方法取得了显著提升。

Presents DG-FedReuse, a federated learning mechanism that reuses age-decayed cached client updates under a proxy-gradient threshold to reduce uplink communication, achieving significant modeled savings with minimal accuracy loss on image classification benchmarks.

本文挑战了关于模型合并中领域专家应训练至最优验证损失的常见假设，表明最优训练时长在很大程度上取决于合并方法。简单平均法会因过拟合而性能下降，而基于稀疏化的方法则能从超出最优点的训练中获益。研究建议训练时长与合并方法应联合选择。

本文提出了一种针对视频扩散模型的后训练加速框架，将动态结构稀疏化与少步蒸馏相结合，在保持生成质量的同时实现了显著加速。

SCAPE是一种通信高效的分布式优化器，利用一阶矩统计量实现LLM训练的极端稀疏化，在保持准确性的同时将实际训练时间减少高达43.3%。

Llama Surgery 将学习到的块稀疏注意力拓扑注入预训练的 Llama 3.1 8B 中，无需从头重新训练，使用带有 Gumbel-Softmax 路由、温度退火和直通估计器的动态拓扑路由器以避免梯度崩溃，实现稳定收敛和连贯输出。