weight-initialization

本文探讨了在元强化学习中使用拟蒙特卡洛（QMC）方法进行权重初始化，与正交初始化相比，在类似的控制任务中显示出改进的收敛性。

本文分析预训练GPT-2风格语言模型中的频谱模式，并测试这些模式能否用于初始化，发现粗粒度频谱匹配相比标准方法并不能提升预训练性能。

介绍CAWI，一种基于Copula的随机神经网络权重初始化方法，该方法建模特征间依赖关系，在83个分类基准上提升了预测性能。