标签
ATEST：面向大语言模型推理的自适应资源感知测试时缩放提出了一种资源感知的测试时缩放框架，联合考虑额外采样的预期价值与当前 GPU 成本，在 GPU 负载变化下动态决定采样何时停止，从而在满足能耗预算的同时保持准确率，并显著减少 GPU 时间与能耗。