标签
DAGFormer 通过联合训练的拓扑预测器全局规划 Transformer 的跨层连接，相比标准 Transformer 及多种路由基线显著降低困惑度并提升下游任务表现。
WhiteMatter通过KV混合在Transformers中引入全对全跨层连接，在预训练实验中减少内存占用并提升性能，相比于标准架构。