active-parameters

Sigma-Branch 将预训练的稠密网络重构成一个层次化二叉树结构，包含共享主干、路由器和专用叶子节点。在 CIFAR-100、ImageNet-1K 和 ModelNet40 上，每次推理的活跃参数减少 58-60%，同时精度下降不超过基线精确率的 1.72 个百分点。

关于混合专家（MoE）模型中活跃参数数量限制的讨论，质疑是否存在一个活跃参数数量的上限，超过该上限后质量不再提升。