标签
PALS是一种面向LLM服务的功耗感知运行时，将GPU功率上限视为可控旋钮，与批大小联合优化，以在满足吞吐量目标的同时最大化能效。该系统在功率约束下可将能效提升高达26.3%，并将QoS违规减少4倍至7倍。