标签
这篇论文提出监督记忆训练(SMT)方法，利用Transformer作为超级老师并行提炼记忆状态，然后用一步监督学习训练RNN，实现训练完全并行、梯度路径从O(T)缩短到O(1)，显著改善了长距离依赖学习。
介绍 PACI，一种无气泡的异步流水线并行训练方法，通过局部梯度累积来约束前向/后向权重不一致性，在保持稳定性和内存使用不变的情况下，实现更高的吞吐量和更快的达到目标精度时间。
本文研究了用于动力系统重构中训练循环神经网络的时间并行算法，提出了GTF-DEER，它能够在长序列上实现稳定学习，并提高重构精度。
本文介绍了结构化循环混合器（SRM），这是一种架构，无需专用内核即可在并行训练和循环推理之间进行代数转换。实验表明，与 Transformer 相比，SRM 实现了显著更高的吞吐量和并发能力，并在强化学习任务中表现出有效性能。