标签
本文介绍了一种无需训练的归因方法，用于识别Transformer FFN神经元中稀疏的层间依赖，结果表明少量前序激活足以高保真地保留神经元激活。
本文分析了用于点击率预测的深度神经网络模型中的早期训练崩溃现象，并提出了缓解策略，如稀疏特征移除和值过滤，在大规模工业数据集上展示了改进效果。
本文提出熵正则化概率门控机制，在稀疏联邦优化中保持不确定性，从而在数据异质性和稀缺数据条件下提升稀疏性恢复能力与测试性能。
SharQ提出了一种无需训练的方法，将激活稀疏性与FP4量化相结合用于大语言模型推理，采用稀疏-密集分解和统一的FP4权重负载。与仅使用FP4的基线相比，它显著降低了延迟并恢复了精度。
本文对神经网络中的叠加现象进行了数学分析，推导了具有幂激活函数的简单自编码器的L2重建损失的上下界，验证了Elhage等人的实证结果。
本文研究了合并RLVR模型中的“稀疏性诅咒”，发现稀疏更新导致近乎正交的参数方向，阻碍了聚合，并提出了SAR-Merging方法，该方法利用Fisher信息和稀疏化来解决冲突，提高在数学和编程任务上的合并性能。
ConSA是一个框架，它通过L0正则化和增广拉格朗日约束，在用户指定的稀疏性目标下学习全注意力和滑动窗口注意力之间的最优分配。在0.6B和1.7B规模的LLM上，它相比基于规则的基线表现出一致的提升。
本文提出了一种用于大语言模型逐层稀疏性的层间扰动吸收视角，表明不同层对剪枝扰动表现出异质性响应，并引入了一种吸收感知校正方法，通过降低困惑度和提升准确率来改进现有剪枝方法。
介绍Simplex约束的稀疏Bagging (SCSB)，一种训练后框架，利用袋外样本在概率单纯形上优化估计器权重，实现高达96%的集成压缩并改进校准。
本文提出了对LoRA的稀疏诱导适配方法，包括廉价LoRA（cLA）和链式循环变体（c³LA），并提供了理论泛化界以及实证评估，结果显示在保持竞争性性能的同时，训练时间最多减少10%，峰值GPU内存节省最多15%。
本文分析了在线策略蒸馏（OPD），发现OPD更新是稀疏的，分布在各个层且以FFN为主，并且保留了与密集参数重写不同的几何特性。这种稀疏结构在操作上有用，但由于梯度尺度异质性，诱导稀疏性的SGD优化器表现不如AdamW。
本文提出了一种用于大语言模型的从稠密到稀疏的持续训练方法，采用预测器门控的按组稀疏性实现4倍FFN稀疏度，并在Qwen2.5-8B上通过长上下文训练进行了验证。
本文介绍了一种针对Transformer的语法引导稀疏注意力机制，旨在通过利用语言结构来提高效率和可解释性。
RT-Lynx提出利用激活稀疏性而非权重稀疏性来加速扩散模型，在线性层上实现了高达1.55倍的加速，同时保持生成质量，并被ICML 2026接收。
本文提出双值对称循环矩阵（TVSCM），一种极度稀疏的架构，每层仅使用两个权重，即可在MNIST和MIT-BIH心律失常数据集上实现超过80倍的参数压缩，同时保持可比的精度，使其成为边缘和微型机器学习平台的理想选择。
本文提出φ-平衡，一种面向混合专家模型中负载平衡的理论框架，直接针对总体层面专家平衡，利用凸对偶和镜像下降，实现更稳定的专家利用率，并在推理和代码生成基准上超越先前方法。
本文分析了六种LLM架构在认知任务上的神经激活模式，揭示了编码器和解码器模型在注意力熵和稀疏性上的差异。
本文介绍了TwELL和Hybrid稀疏格式，配合自定义CUDA内核，有效利用LLM中的非结构化稀疏性，在H100 GPU上实现了训练和推理速度提升超过20%，同时降低了能耗和内存使用。