llm-scheduling

本文对在共享异构硬件上调度多个LLM进行了实证研究，重点关注CPU-GPU卸载和抢占的性能影响。研究发现，卸载会导致非线性的解码吞吐量下降，尤其是对于较小的模型，而抢占开销主要由模型状态重载主导，为未来多模型调度器的设计提供了指导。

一场 Kaggle 比赛要求选手构建调度器，针对 MMLU 问题决定是否运行 2B 参数模型，以在计算开销与准确率之间加权最小化总成本。