标签
论文提出了 Library of Layers (LoL)，一种在推理时动态重排其层的 Transformer 架构，统一了稠密（dense）、深度递归（depth-recurrent）与 MoE 等基线在参数复用与稀疏性之间的权衡，并在推理、多语言和安全任务上实现了可解释的路由。
该论文表明，诱导稀疏性的正则化会促使多任务神经网络涌现出功能模块性，从而识别出紧凑的任务选择性子网络（“功能令牌”），这些子网络无需重新训练即可跨路径重新组合。
该论文系统比较了 2:4 半结构化稀疏化与量化在 LLM 推理中的取舍，发现在仍有更低精度可用时，加入 2:4 稀疏化既更慢又更不准确；只有在达到硬件量化下限（如 FP8/NVFP4）后，2:4 稀疏化才展现出 1.3–1.7× 的线性层加速价值，且需通过重训练恢复质量。
论文提出 LADDER（Layer-Wise Allocation via Damage-Driven Evaluation and Refinement，即基于损伤评估与优化的逐层剪枝分配），一种面向大语言模型的非均匀后训练剪枝方法。该方法通过逐层评估来最小化每移除参数所带来的性能损失，并生成一条嵌套的掩码轨迹；在稀疏度超过 70% 的情况下，其表现显著优于基线方法。
这是一篇三部分系列文章的第一篇，论证了 on-policy RL、蒸馏（distillation）以及近策略 SFT 更新是稀疏的：由于在采样器分布下 score 的期望为零，期望梯度是一个协方差，而 Fisher 信息矩阵是一个方差，这就对任何 reward 下的更新幅度给出了上界。
提出一种免重训练的方法，将预训练 Transformer 转化为可弹性伸缩的模型。通过联合排序并软剪枝单个 MLP 神经元和注意力头，在多种稀疏度目标下连续自适应计算预算，在 27 个视觉与文本 Transformer 编码器上实现了最高 60% 稀疏度下的平滑性能衰减。
该帖指出，Qwen3.8-Flash-Next 采用的超稀疏 MoE 设计（专家池大，每个 token 激活的专家少）在同一块 RTX 4090 48G 上解码速度达到 GLM-5.3-Flash 的 3 倍，因为带宽读取量与激活参数量成正比。文章认为，专家粒度的极致稀疏是 Qwen4 之前本地模型用户值得关注的关键架构方向。
本文提出了FCx，一种通过使用改进的Variational Autoencoder和因果推断来生成可行反事实解释的算法，以确保修改是现实的、低成本的，并与现实世界的变化兼容。
该论文提出了OBC-Prune，一种用于剪枝大推理模型的校准方法，它识别因果上重要的推理电路，以提高准确性并减少在MATH500和LiveCodeBench等基准测试中的推理开销。
论文介绍了一个统一的贝叶斯变分框架，结合 spike-and-slab 稀疏性和高斯混合量化，用于在大神经网络中实现高压缩率，同时最小化精度损失。
本文提出了一种名为TREVIS的方法，该方法利用树形Transformer变分自编码器在连续潜在空间中进行优化，从而学习稀疏决策树，实现了良好的预测性能并提升了结构稀疏性。
本文提出了一种Sparse-Activation-ReLU (SAR)层，用于低延迟、高能效的虚拟感知，在延迟-误差-能效指标上实现了显著提升，并通过合成知识蒸馏降低了误差。
本文介绍了“Compression Trinity”框架，该框架联合应用稀疏性、量化与低秩近似来压缩大型语言模型，以提高效率和性能。
本文介绍了几种差异感知剪枝方法（Wisp、Wisp+、Whisper），用于大型语言模型，表明在Llama 2和3.1系列模型（最高405B参数）中，保留输出差异能够提升稀疏化效果。
本文报告发现：使用冻结的随机初始化CNN特征提取器的深度强化学习智能体，在没有任何稀疏性诱导目标的情况下，自发地产生极端稀疏的全连接表示，通过极少数神经元压缩任务相关信息。
提出神经形态掩码扩散语言模型（N-MDLMs），该模型将块扩散与基于尖峰的神经形态计算相结合，通过利用稀疏性和每次参数访问生成多个token来提高吞吐量和能效，并通过类屋顶线模型进行分析。
本文介绍了Neural Atom Prevalence（NAP），一种用于结构化节点级模型选择的贝叶斯框架，该框架在神经网络中实现了高稀疏性、高准确性和不确定性量化。
本文提出了一种针对LLM的复合稀疏框架，结合了静态参数剪枝与动态令牌级计算，表明混合这两种机制优于单维压缩，并能延迟性能退化。
讨论具有极端稀疏性（16/896专家）的LatentMoE架构以及Kimi Delta Attention，声称有2.5倍更高效的扩展，并猜测Kimi K3模型的能力。