looped-architecture

SMELT是一种方法，它在Mixture-of-Experts Transformer中循环中间层，以在匹配计算、参数和缓存预算的同时，提高训练效率和下游性能，从而实现更快的损失减少和实际收益。

LoopUS 是一种后训练框架，通过隐层精炼和自适应早退机制，将预训练大语言模型转换为循环架构，从而提升推理性能。它解决了现有循环计算方法中存在的计算成本高和原有能力受损的问题。