标签
提出了名为 Nestor 的嵌套稀疏机制，将条件计算从 MoE 扩展到注意力算子，使稀疏性层级组合，在同等计算与稀疏度下优于传统 MoE，并在长上下文与领域持续预训练中表现更佳。
LRCC提出了一种与token相关的计算分配方案：在冻结的预训练LLM中，通过训练轻量级路由器，在嵌套的低秩路径上进行动态选择。在相同的活跃参数预算和解码延迟下，与静态低秩压缩相比，LRCC在Llama和Qwen模型上取得了更好的困惑度和下游任务准确率。
OceanMoE 引入一种混合专家框架，结合结构化条件稀疏计算，以平衡共享海洋上下文与自适应特化，用于多变量海洋预报，展示了长期预测中提升的准确性。
本文介绍了Accessibility Plasticity，这是一个原则，神经系统的适应方式是通过重新组织哪些现有计算可以交互，而不仅仅是修改参数。在序列学习任务上的概念验证表明，可访问性适应在保持相当性能的同时减少了能力修改。
TriRoute引入了一个单一的轻量级控制器，该控制器联合决定每个token的注意力模式、专家选择和KV缓存位宽，与独立调优的MoD、MoE和KV量化组合相比，实现了更高的效率和鲁棒性。
本文提出了一种用于大语言模型的从稠密到稀疏的持续训练方法，采用预测器门控的按组稀疏性实现4倍FFN稀疏度，并在Qwen2.5-8B上通过长上下文训练进行了验证。
OpenAI 提出了一种实用的神经网络 L₀ 正则化方法，在训练过程中促使权重精确变为零，实现网络剪枝以提高速度和泛化性能。该方法使用随机门控机制，引入硬具体分布（hard concrete distribution）使得不可微的 L₀ 范数优化能够通过梯度下降法求解。