标签
本文介绍了一种名为Modular Norm RandOpt的架构感知扰动方法，用于语言模型的高效集成。该方法在多任务和不同模型规模下，使用较少的候选模型即可实现性能提升。
本文介绍 SWARR，一种两阶段方案，结合监督微调和强化学习，使滑动窗口注意力模型适应数学推理，表明强化学习能缩小其与自注意力的性能差距，同时保持效率优势。