z-loss

标签

#z-loss

密集输出头和稀疏路由器中的Z-Loss反向几何

arXiv cs.LG ↗ · 2026-09-16 缓存

本文分析了Z-loss在人工智能模型训练中的反向传播几何，提供了一个框架来理解和优化密集输出头与稀疏混合专家路由器中的梯度，并在GPT-2和Pythia模型上进行了评估。

0 人收藏 0 人点赞