标签
由清华大学和哥伦比亚大学研究人员推出的 AOS-Bench，将大语言模型编程智能体作为工作负载管理器进行评估，考察它们在共享 CPU 和内存限制下处理持续到来的任务流的能力。研究发现，单个任务上的成功并不能延续到流式场景中，而且简单的固定并发策略往往能达到与复杂的智能体管理策略相当的效果。
Opti-Q 是一个受数据库启发的优化器，用于多LLM问答，通过规划执行DAG，在成本、延迟和能量约束下优化答案质量，在基准测试中取得了显著改进。
本文介绍了BAGEN，一个评估LLM智能体预算意识的框架，将预算估计定义为内部预算和外部预算，并形式化了渐进式区间估计。实验表明，强智能体缺乏预算意识，过于乐观，提前停止可以节省令牌，而训练可以改善告警行为。
介绍了TRIAGE，一个在令牌预算下评估大语言模型前瞻性元认知控制的框架，发现它们在跨问题有效分配计算资源的能力上存在显著差距。
本文探讨了分布式大型语言模型（LLMs）如何在设备和云端之间协同工作以应对资源限制的协作智能范式。文章涵盖了垂直方向的设备-云端协作、水平方向的多智能体协作、路由策略，以及在可扩展且可信的协作式人工智能方面的开放研究挑战。