@PyTorch:Muon 因快速收敛而备受关注,但让这些优化器在实际训练栈中工作却是另一项挑战…
摘要
一篇关于在 PyTorch Conference North America 上演讲的公告,涵盖 Muon、Dion 和 Dion3 优化器在训练栈中的实际应用。
查看缓存全文
缓存时间: 2026/09/18 18:48
Muon 因其快速收敛的特性备受关注,但要将这些优化器应用于实际训练栈则面临不同挑战。
在 PyTorch 北美大会上,@JenniferWe17599 将深入解析 Muon、Dion 和 Dion3,并探讨当引入分片、通信、调度器等复杂细节时会发生什么问题,以及其他所有可能出现的状况。
如果您对优化器和训练动态感兴趣,请参加 PyTorchCon NA 的演讲《超越 AdamW:Muon、Dion 与正交化优化器变体的 PyTorch 实践详解》,与 Jen 一起探讨。
购票链接:https://hubs.la/Q04v4SL60
报名 | PyTorch 北美大会
来源:https://events.linuxfoundation.org/pytorch-conference-north-america/register/?utm_campaign=41307495-PyTorch%20Conference%202026%20-%20North%20America&utm_source=Speakers
开源 AI 的未来方向在此决定。切勿错过!
PyTorch 大会票价
报名截止时间为对应日期的太平洋时间晚上 11:59。
参会者
超级早鸟票 2026年3月31日–4月10日
早鸟票 2026年4月11日–7月31日
标准票 2026年8月1日–9月4日
晚期票 2026年9月5日–10月21日
999 美元
学术参会者*
超级早鸟票 2026年3月31日–4月10日
早鸟票 2026年4月11日–7月31日
标准票 2026年8月1日–9月4日
晚期票 2026年9月5日–10月21日
249 美元
团队报名?一次性购买 10 张及以上门票可享受 25% 折扣。联系[email protected]获取折扣码。
*需提供学术身份证明
包含内容
PyTorch 大会报名包含:
- 所有会议内容——主题演讲、会议专场、小组讨论等。
- 社交活动与网络拓展:Flare Party
- 社区博览会入场资格
- 午餐、上午及下午茶点与咖啡
- 活动纪念品
- AI 社区盛会(DE LA SOUL 演出)
报名类型
**学术参会者:**学术和学生报名仅适用于当前全日制学生、教职员工。符合条件者需上传有效的机构证件副本(显示有效期)、当前课程成绩单,或证明当前为全日制学生或教职员工的就业证明。如有疑问,请联系[email protected]。
**小型企业:**小型企业报名折扣适用于年收入低于 500 万美元且员工少于 30 人的公司。请通过[email protected]联系以获取小型企业报名折扣码。
**演讲者:**您应在录用通知邮件中收到报名链接。如未收到,请联系[email protected]获取详情。
**赞助商:**报名链接已通过邮件发送给贵公司的赞助联系人。如需以赞助商身份报名,请联系赞助联系人。如有进一步问题,请发送邮件至[email protected]。
**媒体:**如果您是希望参加本活动的媒体成员且未收到免费参会码,请联系[email protected],我们的公关团队将与您联系。
补充说明
**重要提示:**我们从不出售参会者名单或联系信息,也不授权他人出售。如收到声称出售 Linux 基金会活动参会者名单的邮件,请转发至[email protected]。
奖学金
了解奖学金与差旅资助机会。
发票与参会证书
**报名发票:**发票收据可在注册后收到的确认邮件中“付款收据信息”部分下载。如下载的发票收据不符合需求或需要重发确认邮件,请提交申请。请在申请中注明发票收据所需的任何附加定制信息。
**参会证书:**您可以在LFX 个人中心的“历史活动”栏直接下载参会证书。请注意:我们通过报名系统核验参会情况,证书仅在活动结束后开放下载。
退款政策
**取消报名:**如因任何原因需取消,请重新登录您的报名账号(https://register.linuxfoundation.org/pytorch-conference-na-26),点击“报名/修改”按钮并选择“取消报名”。退款仅在活动开始日期两周前(包括团体票发票申请、联合活动及附加服务)收到取消申请时发放,并将在取消后 7-10 个工作日内以信用卡账单贷记方式退回。退款仅能退回至原支付信用卡。
请注意所有退款均需扣除6%手续费。
**参会人替换:**如无法参会,您可替换其他参会者。替换参会者时,请重新登录报名账号(https://register.linuxfoundation.org/pytorch-conference-na-26),点击“报名/修改”按钮,在确认页面选择“转让报名”。如需进一步协助,请发送邮件至[email protected]。
相似文章
@PyTorch:在 PyTorch Conference North America 上,探索 Muon 和 TorchJD 等新优化器如何与 fastsafetensors 等工具协同工作
PyTorch Conference North America 宣布,设有关于 Muon 和 TorchJD 等新优化器、fastsafetensors 和 LMCache 等工具的会议环节,演讲者来自主要科技公司和机构,将于 10 月 20 日至 21 日在圣何塞举行。
@PyTorch: 更聪明地训练。从分布式训练到优化技术和基础模型,#PyTor…的训练专轨
本文介绍了PyTorch北美会议的训练专轨,其中包括分布式训练、优化技术和基础模型的实用会议,旨在提升AI系统的效率。
@burny_tech: 关于优化器魔法的更新
一篇新的NVIDIA论文提出,像Muon和SOAP这样的高阶优化器,可以作为大规模LLM预训练中AdamW的更高效替代方案。
Dion3: Full-Stack Orthogonal Updates
Dion3 is a revised Muon optimizer that reduces computational and communication overhead via Gram Newton-Schulz, symmetric GEMM kernels, and megabatching, achieving up to 6x faster optimizer steps while matching or improving loss.
@PyTorch:如何在一千个GPU上高效训练一个671亿参数的模型?通常,找到最佳方案意味着...
介绍了在PyTorchCon北美大会上的一场演讲,AMD的Primus Tuning Agent通过预测最优配置,高效地在1000个GPU上训练671亿参数模型,节省计算时间。