spectral-entropy

CHIAR-Former使用基于谱熵的路由，动态选择DCT、RBF和自注意力算子，在大规模文本数据集上实现了效率提升，同时通过混合注意力机制保持性能。