标签
本文介绍了通道专家混合（MoCE），这是一种结构化稀疏层，用于替代卷积网络中的密集逐点投影，以降低计算成本，同时保持或提高性能。
本文表明，卷积网络中的序列池化归一化提供了超越感受野的全局上下文，满足序列标注所需的大部分上下文，并在网络消融研究中影响归因分析。
本文重访了高效通道注意力（ECA）论文，并使用国际象棋数据进行实验，挑战了关于跨通道交互的核心假设。
本文提出了等变Poincaré ResNets，将双曲几何与离散对称群相结合，通过将旋转特征视为对称而非不同的分层概念，提高了学习视觉表示的效率。
本文评估了反馈对齐算法在卷积网络中的生物合理性与表征一致性，并在 CIFAR-10 数据集上将其与标准反向传播进行了对比。作者发现，改进的反馈对齐方法收敛出的内部表征与反向传播产生的表征相似，这表明其功能上的成功源于对表征几何结构的模仿。