标签
文章分析了硅谷AI生图/视频推理云平台fal的快速崛起：年收入约8亿美元、估值或达150-200亿美元，两年前年收入仅约一千万美元。fal的核心模式是不卖显卡，而是提供一排可随时切换的模型，从模型快速迭代、没有长期赢家的市场中获利。
GPUHedge是一个开源工具，它使用投机执行在无服务器GPU提供商之间进行对冲，将冷启动p95延迟从117秒降低到30秒。
无服务器 GPU 的每小时费率可能更高，但根据工作负载的峰值与平均需求比，总体而言可能更具成本效益。Modal 博客上的这篇文章用一个小组件进行了说明。
Modal 宣布，通过优化 GPU 健康管理和 CUDA 上下文检查点机制，vLLM 和 SGLang 服务器副本的启动速度提升了 3-10 倍。