transformer-sizes

#transformer-sizes

连接胜过混合：不同Transformer规模之间迁移了什么——以及什么没有迁移

arXiv cs.LG ↗ · 2026-08-05 缓存

本文研究了同一系列（Pythia）中不同规模Transformer模型之间迁移的内容，表明表示对齐而权重不对齐，并且通过初始化而非直接权重投影进行转换效果最佳。

0 人收藏 0 人点赞