@PyTorch: 在 @vllm_project 中的弹性专家并行性允许您在活动的混合专家部署期间动态添加或移除GPU…
摘要
本文推广了在2026年PyTorch Conference North America上关于vLLM中弹性专家并行性的演讲,讨论了如何在混合专家部署中动态添加或移除GPU,同时最小化停机时间。
查看缓存全文
缓存时间: 2026/09/26 08:58
@vllm_project 中的弹性专家并行技术允许在流量服务期间,为活跃的混合专家部署添加或移除 GPU,同时最小化服务中断和停机时间。
在2026年北美 PyTorchCon 大会上,NVIDIA 的 Itay Alroy (@nvidia) 将发表题为《vLLM 中的弹性专家并行》的演讲,涵盖弹性 EP 的架构、关键实现细节、当前挑战与未来路线图。
Alroy 还将探讨当 EP 规模发生变化时的情况,以及 NIXL EP 如何实现在线流量下的动态扩缩容。
注册参加2026年北美 PyTorch 大会:https://hubs.la/Q04v4SL60
注册 | PyTorch 北美大会
来源:https://events.linuxfoundation.org/pytorch-conference-north-america/register/?utm_campaign=41307495-PyTorch%20Conference%202026%20-%20North%20America&utm_source=Speakers
**开源人工智能的未来在此汇聚。**切勿错过!
PyTorch 大会注册费用
各阶段注册截止时间为太平洋时间当日 23:59。
参会者
超级早鸟价 2026年3月31日–4月10日
早鸟价 2026年4月11日–7月31日
标准价 2026年8月1日–9月4日
晚期注册 2026年9月5日–10月21日
$ 999 USD
学术人员*
超级早鸟价 2026年3月31日–4月10日
早鸟价 2026年4月11日–7月31日
标准价 2026年8月1日–9月4日
晚期注册 2026年9月5日–10月21日
$ 249 USD
团队参会?一次性购买 10 个及以上注册名额可享受 25% 折扣。请联系[email protected]申领折扣。
*需提供有效的学术身份证明
注册费用包含哪些内容?
您的 PyTorch 大会注册包括:
- 所有会议内容——主题演讲、分会场、讨论组等。
- 社交活动与交流环节:Flare Party
- 社区展览区入场资格
- 午餐、上午与下午的咖啡茶歇
- 活动纪念品
- AI 社区聚会(特邀 DE LA SOUL)
注册类型
**学术人员:**学术与学生注册面向全日制在读学生及教职员工。符合条件者需上传由院校颁发的有效身份证明(显示有效期)、当前成绩单,或能证明在注册时为全日制学生或教职员工的在职证明。如有疑问,请联系[email protected]。
**小型企业:**小型企业注册折扣适用于年收入低于 500 万美元且员工少于 30 人的公司。请联系[email protected]获取小型企业注册折扣码。
**演讲嘉宾:**您应在录用通知邮件中收到注册链接。如未收到,请联系[email protected]了解详情。
**赞助商:**注册链接已通过邮件发送至贵公司的赞助联系人。如需以赞助商身份注册,请联系贵公司的赞助负责人。其他问题请邮件咨询[email protected]。
**媒体:**若您是希望参与本活动的媒体成员,且尚未获得免费参会授权码,请联系[email protected],我们的公关团队将与您联络。
附加信息
**重要提示:**我们从不出售参会者名单或联系信息,也未授权他人进行此类操作。如您收到声称出售 Linux 基金会活动参会者名单的邮件,请将其转发至[email protected]。
奖学金
了解关于奖学金和差旅资助 (https://events.linuxfoundation.org/pytorch-conference-north-america/attend/scholarships-travel-funding/) 的更多信息。
发票与参会证明
**注册发票:**发票收据可从您注册后收到的确认邮件中下载,位于 付款收据信息 部分。若下载的发票收据无法满足需求,或需要重新发送确认邮件,请提交申请 (https://docs.google.com/forms/d/e/1FAIpQLSdFIGoXFCt5gVxXL4WGY9NsFhqhBrNFQfsx3ps8RfSVf9HUYg/viewform?usp=sf_link)。请在申请中注明所需的发票额外定制信息。
**参会证明:**您可以直接从 LFX 主面板 (https://openprofile.dev/myevents) 的“往期活动”栏目下载参会证明。请注意:我们通过注册系统核验出席情况,证明文件仅在活动结束后提供下载。
退款政策
**取消注册:**如因任何原因需取消,请重新登录您的注册页面 (https://register.linuxfoundation.org/pytorch-conference-na-26),点击“注册/修改”按钮,选择“取消注册”。退款仅适用于在主活动开始日期前两周内收到的取消请求(包括批量票务发票请求、联合活动及附加服务),退款将在取消后 7-10 个工作日内以信用卡账单退款形式体现。退款仅能退回至原始支付卡。
请注意,所有退款将扣除 6% 的手续费。
**替换参会人:**如您无法参会,可替换其他参会人员。如需替换,请重新登录注册页面 (https://register.linuxfoundation.org/pytorch-conference-na-26),点击“注册/修改”按钮,在确认页面选择“转让注册”。如需进一步协助,请邮件联系[email protected]。
相似文章
@PyTorch: 对优化ARM CPU上的混合专家模型LLM推理感兴趣吗?在他于PyTorch Conference North America的演讲中,…
在PyTorch Conference North America上,来自Fujitsu Research India的Maajid Khan将发表演讲,探讨使用vLLM和OpenVINO优化ARM CPU上的混合专家模型LLM推理。
@PyTorch: 如何保持 @vllm_project 以光速运行,同时不排斥在多样化硬件上运行多样化模型的用户?
介绍了 vLLM 中的硬件无关层,以在确保跨多样化硬件可移植性的同时保持高性能,正如 PyTorch Foundation 博客文章中所宣布的。
@_avichawla: https://x.com/_avichawla/status/2100876555409039605
这篇文章解释了Mixture-of-Experts (MoE) 推理的工程方面,详细介绍了令牌路由、专家批处理、GPU分配和性能权衡,以实现高效的服务。
@PyTorch:在PyTorch Conference North America上,vLLM Omni团队技术负责人Ricardo Noriega de Soto和Alexander Brooks,Pr…
在PyTorch Conference North America上,Ricardo Noriega de Soto和Alexander Brooks将演示如何将vLLM的前缀缓存机制扩展到多阶段流水线,以提升推理速度并减少GPU内存开销,为优化复杂AI工作负载提供实用策略。
@PyTorch:在2026年PyTorch北美大会上,@MistralAI研究工程师、vLLM维护者Nicolò Lucchesi将展示……
Nicolò Lucchesi将在2026年PyTorch北美大会上,介绍与AWS和RedHat合作的关于vLLM中面向混合模型的解耦服务演进的成果。