gradient-fan-in-asymmetry

本文介绍了CascadeFormer（一种深度渐缩的Transformer架构）和CascadeFlow剪枝方法，两者均受梯度扇入不对称（GFA）启发，该现象解释了为何深层贡献较小。这些方法通过降低延迟、提高吞吐量来提升效率，同时保持有竞争力的性能。