@PyTorch:NVIDIA(@nvidia)的Anjulie Agrusa、Ryan Spring和Bruce Zitelli将展示最新的NVFP4预训练配方如何……
摘要
NVIDIA研究人员将在2026年PyTorch北美会议上介绍如何使用NVFP4预训练配方来加速大规模LLM训练,同时保持与BF16相当的质量,并集成到PyTorch工具如TorchAO和TorchTitan中。
查看缓存全文
缓存时间: 2026/09/01 15:44
NVIDIA的 (@nvidia) Anjulie Agrusa、Ryan Spring与Bruce Zitelli将在2026年PyTorch北美大会上展示最新的NVFP4预训练配方如何加速大规模LLM训练,同时将其与BF16的性能差距缩至最小。
他们将于10月21日发表题为“基于NVFP4的LLM高效预训练”的演讲,内容将涵盖实现这一技术的配方与PyTorch工具链,包括配方设计、内核选择以及将NVFP4训练引入原生PyTorch工作流所需的API接口。
这些配方正通过TorchAO和TorchTitan集成到PyTorch生态系统中,目前TorchAO已支持稠密线性NVFP4训练。
请于9月4日前注册以获取会议通行证优惠。
注册链接:https://hubs.la/Q04tDbKG0
#PyTorchCon
注册 | LF活动
来源:https://events.linuxfoundation.org/pytorch-conference-north-america/register/?utm_campaign=49768803-26Q3_PyTorch%20Conference%20North%20America&utm_source=twitter&utm_medium=social
PyTorch会议收费标准
注册截止时间为相应日期的太平洋时间晚上11:59。
参会者
超级早鸟价 2026年3月31日–4月10日
早鸟价 2026年4月11日–7月31日
标准价 2026年8月1日–9月4日
$ 799 USD
晚期注册 2026年9月5日–10月21日
$ 999 USD
学术人员*
超级早鸟价 2026年3月31日–4月10日
早鸟价 2026年4月11日–7月31日
标准价 2026年8月1日–9月4日
$ 249 USD
晚期注册 2026年9月5日–10月21日
$ 249 USD
*需提供学术身份证明
注册类型
简要说明: 我们从不出售参会者名单或联系信息,也未授权他人从事此类活动。如收到声称出售Linux基金会活动参会者名单的邮件,请转发至 [email protected]。
学术人员: 学术及学生注册仅限当前全日制学生、教职员工。符合条件的注册者需上传有效的机构身份证明(需显示有效期)、当前课程成绩单,或证明当前为全日制学生或教职员工的在职证明。如有疑问,请联系 [email protected]。
演讲者: 您应在录用通知邮件中收到注册链接。若未收到,请联系 [email protected] 获取详情。
赞助商: 注册链接已通过邮件发送至贵公司的赞助联系人。如需以赞助商身份注册,请联系贵公司的赞助联系人。其他问题请邮件咨询 [email protected]。
媒体: 若您是希望参加此活动的媒体成员且未获得免费参会码,请联系 [email protected],我们的公关团队将与您取得联系。
注册包含内容
PyTorch会议注册包含:
- 所有会议内容——主题演讲、会议演讲、研讨会等。
- 社交活动与Networking活动:Flare Party
- 社区展览入场资格
- 午餐、上午及下午茶点咖啡
- 活动纪念品
- 包含DE LA SOUL演出的AI社区狂欢派对
附加信息
奖学金
了解有关奖学金与差旅资助的信息。
发票与参会证书
注册发票: 发票收据可从注册后收到的确认邮件中“付款收据信息”部分下载。若下载的发票收据无法满足需求或需重发确认邮件,请提交申请。请在申请中注明发票所需的额外定制信息。
参会证书: 您可直接从LFX控制面板的“过往活动”栏目下载参会证书。请注意:我们通过注册系统核验参会信息,证书仅在活动结束后提供下载。
退款政策
取消参会: 如因任何原因需取消,请重新登录注册账户,点击“注册/修改”按钮并选择“取消注册”。仅接受在活动开始前两周内(含批量购票发票申请、同地活动及附加服务)的取消申请,退款将在取消后7-10个工作日内以信用卡账单抵扣形式处理。退款仅能退至原支付信用卡。
请注意,所有退款将收取6%手续费。
转让参会资格: 如无法出席,可转让他人替代参会。请重新登录注册账户,点击“注册/修改”按钮,在确认页面选择“转让注册”。如需进一步协助,请邮件联系 [email protected]。
相似文章
@PyTorch:在PyTorch Conference North America 2026上,直接聆听并与PyTorch、@vllm_project等工作者交流。
PyTorch Conference North America 2026将举办与PyTorch及相关项目专家的讨论会,重点关注AI框架、推理引擎和硬件集成的最新进展。
@nrehiew_:献给视觉学习者
一条推文线程,回顾了论文《使用NVFP4预训练大型语言模型》并讨论了NVFP4预训练,特别是针对NVIDIA Blackwell。
@PyTorch:在 PyTorch Conference North America 上,探索 Muon 和 TorchJD 等新优化器如何与 fastsafetensors 等工具协同工作
PyTorch Conference North America 宣布,设有关于 Muon 和 TorchJD 等新优化器、fastsafetensors 和 LMCache 等工具的会议环节,演讲者来自主要科技公司和机构,将于 10 月 20 日至 21 日在圣何塞举行。
@AaronWeiHuang:我们最新博客探讨了FP4如何从压缩工具演变为训练和推理的实用基础方案,涵盖……
NVIDIA的博客详细介绍了FP4(配合NVFP4格式和Blackwell硬件)如何从一种压缩技巧演变为训练和推理的实用基础方案,涵盖LLM和扩散模型,并实现了接近16位的精度。
@PyTorch:探索开源智能搜索和硬件引导工作流如何在GPU和TPU上实现显著加速
PyTorch北美大会将在圣何塞举行,设有智能搜索、硬件引导工作流和AI性能优化等专场,演讲者来自主要科技公司。