标签
Ai2 分享其 GPU 调度器的工程实践，通过 GPU 时间预算、分层公平共享分配和时间片机制取代优先级调度器，将其最大 H100 集群的中位排队等待时间从 5 分钟降至 24 秒。
Ai2的AI基础设施团队详细介绍了如何用一套基于GPU时间预算、分层公平份额分配和时间切片合约的系统，取代原有的优先级GPU调度器，从而在优先保障高影响力研究的同时，在数千块H100、B200和B300 GPU上保持集群的满载运行。
AI21 发布了一份案例研究，介绍了它如何用 GKE 上的 Kueue 替代在内部聊天频道中手动分配 GPU 的方式，来管理跨多个团队共享的约 10,000 块 GPU 的集群。AI21 与 Google Kueue 团队的合作推动了准入公平共享（Admission Fair Sharing，AFS）等新功能的开发，使高优先级工作负载的启动时间缩短了 83%。
该推文评论了多人代理系统的局限性，强调在不合适的场景下使用可能产生负面效果，并指出代理集群需要治理和设计。