conference-event

#conference-event

@PyTorch: 在 @vllm_project 中的弹性专家并行性允许您在活动的混合专家部署期间动态添加或移除GPU…

X AI KOLs Following ↗ · 2026-09-26 缓存

本文推广了在2026年PyTorch Conference North America上关于vLLM中弹性专家并行性的演讲，讨论了如何在混合专家部署中动态添加或移除GPU，同时最小化停机时间。

0 人收藏 0 人点赞