terminal-shrinkage-averaging

标签

#terminal-shrinkage-averaging

终端收缩平均揭示LLM预训练中的调度-估计器交互

arXiv cs.LG ↗ · 昨天缓存

提出终端收缩平均法 (TSA) 以在LLM预训练中将学习率调度与模型估计器分离，提高验证质量并可能加速基准测试。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈