long-range-dependencies

这篇论文提出监督记忆训练(SMT)方法，利用Transformer作为超级老师并行提炼记忆状态，然后用一步监督学习训练RNN，实现训练完全并行、梯度路径从O(T)缩短到O(1)，显著改善了长距离依赖学习。