l0-regularization

本文提出L0-MoE，一种使用L0正则化的轻量级混合专家模型方法，用于加速稠密LLMs，最高可实现2.5倍加速，同时保持竞争力的性能。

提出GRACE方法，该方法结合基于约束的骨架与使用L0正则化的门控精化，用于高效准确的高维时间序列因果边发现。在F1分数和速度上优于现有方法，并在合成和现实河流流量数据上进行了验证。

OpenAI 提出了一种实用的神经网络 L₀ 正则化方法，在训练过程中促使权重精确变为零，实现网络剪枝以提高速度和泛化性能。该方法使用随机门控机制，引入硬具体分布（hard concrete distribution）使得不可微的 L₀ 范数优化能够通过梯度下降法求解。