标签
ModeSwitch-LLM 是一种轻量级控制器，将大语言模型推理请求路由到单GPU上合适的固定模式（例如FP16、量化、推测解码），在无需重新训练模型的情况下，实现高达2.10倍的延迟加速和51.7%的能耗降低。