autoscaling

一项基准研究发现，经过校准的基于规则的自动扩缩器在所有测试工作负载上成本均优于六种主流深度强化学习算法，而深度强化学习仅在突发流量模式中表现出更高成本下的优势。该论文提出了RLScale-Bench以改进评估协议和可复现性。

讨论了在预算有限的情况下为AI Agent管道扩展基础设施的实际挑战，强调了基于CPU/内存的自动扩展对于GPU推理工作负载的不足。