scheduling-method

标签

#scheduling-method

解耦准备与发布以实现尾部感知的代理LLM工作流调度

arXiv cs.AI ↗ · 16小时前缓存

本文提出了一种尾部风险感知的调度方法，用于代理LLM工作流，通过优化回合发布决策减少尾部延迟，在争用条件下实现P95工作流流时间最高3.50倍的加速。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈