标签
论文介绍了YB-Mixer，这是一种从广义杨-巴克斯特方程推导出的令牌混合层，具有精确的范数保持、深度稳定特性，并支持无顺序推理和可变预算推理。与注意力机制和状态空间基线相比，它在长程记忆任务上以更少的参数实现了具有竞争力的性能。
本文提出RankElastor，一种新颖的架构，通过引入参数化全混合和GLU改进的P-FFN，缓解推荐模型密集扩展中的嵌入坍塌，实现鲁棒扩展并在大规模数据集上提升性能。