标签
FreeToken 是一个边缘原生的 Mixture of Experts 服务系统，通过自适应管理异构边缘设备的资源，高效地在消费级硬件上运行大型开源权重模型。
TurboServe 是一个专为流式视频生成工作负载设计的服务系统，采用在线调度方法，协调会话放置和 GPU 资源分配，以降低延迟和成本。