learned-scheduler

#learned-scheduler

先校准，再路由：面向分离式LLM服务的学习型请求路由实测研究

arXiv cs.AI ↗ · 2天前缓存

本文针对分离式LLM服务的学习型请求路由进行了实测研究，评估了一种利用准入时特征分配请求的校准路由器，在实际vLLM/NIXL集群上取得了比传统方法更高的平均有效吞吐量。

0 人收藏 0 人点赞