llm-scheduling

本文提出了一种尾部风险感知的调度方法，用于代理LLM工作流，通过优化回合发布决策减少尾部延迟，在争用条件下实现P95工作流流时间最高3.50倍的加速。

本文对在共享异构硬件上调度多个LLM进行了实证研究，重点关注CPU-GPU卸载和抢占的性能影响。研究发现，卸载会导致非线性的解码吞吐量下降，尤其是对于较小的模型，而抢占开销主要由模型状态重载主导，为未来多模型调度器的设计提供了指导。

一场 Kaggle 比赛要求选手构建调度器，针对 MMLU 问题决定是否运行 2B 参数模型，以在计算开销与准确率之间加权最小化总成本。