latency-aware

一篇论文提出了一种延迟感知的LLM查询路由器，通过轻量级延迟估计器联合优化延迟、准确性和成本，在保持可比延迟的同时，准确率-成本效用提升高达40%。

提出了AdaSR框架，使推理模型能够自适应地处理流式输入，以及HRPO（一种分层强化学习方法），用于优化思考分配，以实现准确性与效率的权衡。