标签
本文推广了在2026年PyTorch Conference North America上关于vLLM中弹性专家并行性的演讲，讨论了如何在混合专家部署中动态添加或移除GPU，同时最小化停机时间。
Modal 详细介绍了他们如何为万亿参数编码代理优化推理性能，为其服务在吞吐量和交互性方面实现了显著提升。
SGLang-Diffusion 与 MiniMax 的 VDN-H3 支持快速、可扩展的视频生成，在 8× B200 GPU 上，仅需 9.0 秒即可生成 14.4 秒的 768p 视频，实现比实时更快的推理。
Modal 是一个专为 AI 工作负载设计的无服务器云平台，支持推理、训练和沙箱，通过纯 Python 代码实现从零到上千 GPU 的瞬间扩展，大幅降低延迟并加速产品上市。
一位用户报告称，在使用Qwen模型进行推理时，添加第二张RTX 3090后实现了近乎线性的性能扩展，在没有NVLink的情况下，解码TPS提升了约1.8倍。
一个Modal教程，展示如何使用ESMFold2和ESMC模型扩展蛋白质绑定剂设计，包含用于迭代优化和自动伸缩基础设施的代码。
OpenAI 分享了他们的深度学习基础设施方法，并开源了 kubernetes-ec2-autoscaler，一个为 Kubernetes 优化的批处理自动扩展管理器，强调基础设施质量如何倍增研究进展。