softmax-approximation

标签

#softmax-approximation

预训练大语言模型中Softmax的近似：模型敏感性与内核加速

Hugging Face Daily Papers ↗ · 4天前缓存

本文探讨了在预训练大语言模型中近似softmax以实现内核加速，展示了在Blackwell B200上最高可达25.8%的加速性能提升，同时对困惑度的影响最小。

0 人收藏 0 人点赞