small-scale

作者描述了构建一个实验性的Loop语言模型，该模型具有退出门控、稀疏/压缩注意力机制以及基于扩散的优化技术。在受限硬件环境下训练后，初步结果表明其在效率提升方面具有潜力。