optimizer

标签

Cards List
#optimizer

优化器设计的对称兼容原则:嵌入层、语言模型头、SwiGLU MLP 和 MoE 路由器

Hugging Face Daily Papers ↗ · 2026-05-18 缓存

研究人员提出了对称兼容优化器,这些优化器尊重神经网络参数的等变性结构,相比 Adam 等传统方法提高了训练稳定性和性能。该方法在多种语言模型架构上得到验证,包括 Qwen3-0.6B、Gemma 3 1B 和 OLMoE-1B-7B。

0 人收藏 0 人点赞
#optimizer

对我来说,这是人工智能领域一个非常重要的里程碑。

Reddit r/LocalLLaMA ↗ · 2026-05-16

作者宣布发布其首篇AI研究论文STAM(自适应动量的稳定训练),这是一种新的深度学习优化器,旨在解决训练的稳定性和资源效率问题,并邀请AI社区提供反馈。

0 人收藏 0 人点赞
#optimizer

DynMuon:一种动态频谱塑形视角下的Muon优化器

Hugging Face Daily Papers ↗ · 2026-05-16 缓存

本文介绍了DynMuon,一种动态频谱塑形优化器,它在训练过程中将更新参数p从正值调度为轻微负值,从而持续获得更低的验证损失,并且达到相同目标损失所需的步数比标准Muon优化器减少10.6%–26.5%。

0 人收藏 0 人点赞
#optimizer

@eliebakouch: 我们让 Opus 4.7 和 GPT 5.5 在 nanoGPT 优化器快速运行上运行:约1万次运行,14k H200小时,239亿个token。Opus 达到2…

X AI KOLs Following ↗ · 2026-05-14 缓存

AI智能体(Opus 4.7 和 GPT 5.5/Codex)自主优化了 nanoGPT 快速运行任务,以2930步的新记录超越了人类基线。博客详细介绍了它们的搜索方法、失败案例,并发布了所有运行数据和代码。

0 人收藏 0 人点赞
#optimizer

Pion:一种通过正交等价变换保持谱的优化器

Hugging Face Daily Papers ↗ · 2026-05-12 缓存

本文介绍了 Pion,这是一种用于大语言模型训练的的新型谱保持优化器。它利用正交等价变换在权重更新过程中维持奇异值,从而提供与标准优化器相当的稳定性能。

0 人收藏 0 人点赞
#optimizer

@0xLogicrw: Tilde Research 发现,被 DeepSeek V4、Kimi K2.5、GLM-5 等头部模型采用的优化器 Muon 有一个隐藏缺陷:它会在训练早期让 MLP 层超过四分之一的神经元永久死亡。团队据此设计了替代优化器 Auro…

X AI KOLs Timeline ↗ · 2026-05-10

Tilde Research 发现 Muon 优化器存在导致 MLP 神经元早期死亡的缺陷,并开源了替代方案 Aurora。Aurora 在保持正交性的同时解决了神经元死亡问题,显著提升了训练效率。

0 人收藏 0 人点赞
#optimizer

AdaPreLoRA:Adafactor 预条件低秩适应

Hugging Face Daily Papers ↗ · 2026-05-09 缓存

AdaPreLoRA 是一种新颖的 LoRA 优化器,它利用 Adafactor 对角 Kronecker 预条件来改进因子空间更新,同时保持低内存占用,在各种大语言模型(LLM)和任务中表现出具有竞争力的性能。

0 人收藏 0 人点赞
← Previous
← 返回首页

提交意见反馈