gpu-scaling

Modal 是一个专为 AI 工作负载设计的无服务器云平台，支持推理、训练和沙箱，通过纯 Python 代码实现从零到上千 GPU 的瞬间扩展，大幅降低延迟并加速产品上市。

一位用户报告称，在使用Qwen模型进行推理时，添加第二张RTX 3090后实现了近乎线性的性能扩展，在没有NVLink的情况下，解码TPS提升了约1.8倍。

一个Modal教程，展示如何使用ESMFold2和ESMC模型扩展蛋白质绑定剂设计，包含用于迭代优化和自动伸缩基础设施的代码。

OpenAI 分享了他们的深度学习基础设施方法，并开源了 kubernetes-ec2-autoscaler，一个为 Kubernetes 优化的批处理自动扩展管理器，强调基础设施质量如何倍增研究进展。