标签
GPUHedge是一个开源工具，它使用投机执行在无服务器GPU提供商之间进行对冲，将冷启动p95延迟从117秒降低到30秒。
无服务器 GPU 的每小时费率可能更高，但根据工作负载的峰值与平均需求比，总体而言可能更具成本效益。Modal 博客上的这篇文章用一个小组件进行了说明。
Modal 宣布，通过优化 GPU 健康管理和 CUDA 上下文检查点机制，vLLM 和 SGLang 服务器副本的启动速度提升了 3-10 倍。