标签
Berth 是一个系统服务，能够在单张 GPU 上自动交换和加载 AI 引擎，管理显存占用，让 ComfyUI、llama-swap、OpenWebUI 这类工具不再浪费显存或相互冲突。它还通过统一的 API 端点暴露引擎，实现跨工作负载的无缝切换，包括游戏场景。
推理工程系列第五部分，讲解如何为机器学习工作负载构建 GPU 调度器，涵盖首次适应装箱（first-fit bin-packing）、排序启发式、并发调度器中的竞态条件，以及拓扑感知和联合调度（gang scheduling）等 GPU 特有的扩展内容。
开发者展示开源推理引擎 jitllm，借助 JIT 内核生成与分页 KV 缓存，可在推理过程中把 Llama-3.2 模型各层在不同 GPU/CPU 之间动态迁移（最短 8 毫秒暂停、无需重预填充）。
作者构建了开源工具 vramble，作为请求调度层自动在本地 AI 工作站上加载/卸载模型并管理队列，解决了多个模型争抢 VRAM 的问题。项目以 MIT 许可证在 GitHub 上开源，欢迎贡献。
Ai2 分享其 GPU 调度器的工程实践，通过 GPU 时间预算、分层公平共享分配和时间片机制取代优先级调度器，将其最大 H100 集群的中位排队等待时间从 5 分钟降至 24 秒。
Ai2的AI基础设施团队详细介绍了如何用一套基于GPU时间预算、分层公平份额分配和时间切片合约的系统，取代原有的优先级GPU调度器，从而在优先保障高影响力研究的同时，在数千块H100、B200和B300 GPU上保持集群的满载运行。
AI21 发布了一份案例研究，介绍了它如何用 GKE 上的 Kueue 替代在内部聊天频道中手动分配 GPU 的方式，来管理跨多个团队共享的约 10,000 块 GPU 的集群。AI21 与 Google Kueue 团队的合作推动了准入公平共享（Admission Fair Sharing，AFS）等新功能的开发，使高优先级工作负载的启动时间缩短了 83%。
本文介绍了Quota Marketplace，这是一种基于市场的动态定价机制，已在Google部署，用于跨业务部门高效分配ML训练加速器，在异构工作负载价值下实现了帕累托效率和最大最小公平。