copula

本文介绍了分层 Copula-Gumbel-Top-K（H-CGA）路由，一种在冻结混合专家模型中控制词元路由选择之间联合依赖关系的方法，同时保持每个词元的路由律完全固定。它提供了一致性与负载分散之间的理论权衡，并通过一个小规模试点验证了该机制。

介绍CAWI，一种基于Copula的随机神经网络权重初始化方法，该方法建模特征间依赖关系，在83个分类基准上提升了预测性能。