serving-system

TurboServe 是一个专为流式视频生成工作负载设计的服务系统，采用在线调度方法，协调会话放置和 GPU 资源分配，以降低延迟和成本。