learning-rate-optimization

标签

Cards List
#learning-rate-optimization

语言模型训练中学习率的混合量子选择:终止准则与交互引导的调度预言机

arXiv cs.LG ↗ · 2天前 缓存

本文提出将量子最小值查找(结合 BBHT 搜索的 Dürr–Høyer 算法)与交互引导的调度预言机相结合,联合选择用于语言模型微调的各层组学习率调度方案,并展示了一个具有 15 亿参数的模型的闭环训练,其基准测试结果与采用统一学习率的基线相当。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈