routing-sparsity

本文提出一个Jacobian-PCA-Grassmann框架，用于分析混合专家（MoE）Transformer中专家专业化的几何结构。研究发现，专家表现出强烈的功能去相关，而其表示存在重叠，并且路由稀疏性显著影响这一几何结构。