论文页面 - Variable-Width Transformers

来源：https://huggingface.co/papers/2606.18246

摘要

一种新颖的变压器架构采用了各层宽度不均匀分配的方式，通过无参数残余大小调整机制，在性能和效率上均优于均匀设计。缩放模型规模，特别是深度（https://huggingface.co/papers?q=depth）和宽度（https://huggingface.co/papers?q=width），推动了基于Transformer的语言模型（https://huggingface.co/papers?q=transformer-based%20language%20models）的重大进展。然而，大多数架构在所有层中保持恒定宽度（https://huggingface.co/papers?q=width），尽管不同层可能扮演不同的计算角色，但仍将固定参数和计算预算均匀分配。在本工作中，我们通过提出一种times-shaped结构，实证研究了跨网络深度（https://huggingface.co/papers?q=depth）的非均匀容量分配。