loop-lm

作者描述了构建一个实验性的Loop语言模型，该模型具有退出门控、稀疏/压缩注意力机制以及基于扩散的优化技术。在受限硬件环境下训练后，初步结果表明其在效率提升方面具有潜力。

LatentMT将潜在推理循环语言模型应用于机器翻译，在计算量更低的情况下实现了与三到五倍规模模型相当的性能，并在中资源和低资源语言上达到了最先进结果。