标签
iwant 是一款开发者工具,可在一条命令内跨 GCP 区域寻找可用 GPU、完成配置与 vLLM 部署,让用户快速托管 DeepSeek、Kimi、Minimax 等开源模型并获得 OpenAI 兼容端点。
SkyPilot是一个开源工具,可自动在18个云提供商中寻找并配置最便宜的GPU用于AI工作负载,通过竞价实例和自动管理将成本降低高达10倍。
TurboServe 是一个专为流式视频生成工作负载设计的服务系统,采用在线调度方法,协调会话放置和 GPU 资源分配,以降低延迟和成本。