online-linear-programming

本文提出了一种用于LLM服务路由的多目标优化框架，采用带出价-价格控制的在线线性规划来平衡延迟、吞吐量和尾部性能，并通过Vidur模拟器展示了相对于启发式方法的改进。