标签
一项涵盖约600次训练运行的规模扩展研究发现，在计算量相同的情况下，对循环 Transformer 采用完整的时间反向传播（BPTT）优于截断方案。其中，两个均经过完整训练的循环是计算最优配置，其参数量比非循环模型少约27%，性能却更优。