multiplicative-updates

标签

#multiplicative-updates

在弯曲权重空间中学习：用于改进优化的指数-线性权重重参数化

arXiv cs.LG ↗ · 2026-07-14 缓存

介绍了SymExpLin (SEL)，一种结合对称指数路径和线性路径的权重重参数化方法，用于改进神经网络的优化，在Transformer上将训练步数减少最多1.49倍。

0 人收藏 0 人点赞