标签
微信WeLM团队发表论文，介绍Hidden Decoding方法，在不增加Transformer主干参数的情况下通过隐藏流扩展计算，训练出WeLM-HD4-80B和WeLM-HD4-617B MoE模型，在多项基准上超越自回归基线。
本文介绍了Hidden Decoding，这是一种针对LLM的序列长度扩展方法，通过将每个令牌扩展为多个具有独立嵌入表的流，并在每个令牌内增加内部计算，同时使用Stream-Factorized Attention来保持低成本。在多达617B参数的模型上的实验显示，该方法较基线有一致的改进，展示了一条实用的固定骨干扩展路径。