标签
由清华大学和哥伦比亚大学研究人员推出的 AOS-Bench，将大语言模型编程智能体作为工作负载管理器进行评估，考察它们在共享 CPU 和内存限制下处理持续到来的任务流的能力。研究发现，单个任务上的成功并不能延续到流式场景中，而且简单的固定并发策略往往能达到与复杂的智能体管理策略相当的效果。
一篇论文提出了一种延迟感知的LLM查询路由器，通过轻量级延迟估计器联合优化延迟、准确性和成本，在保持可比延迟的同时，准确率-成本效用提升高达40%。