标签
AI21 发布了一份案例研究,介绍了它如何用 GKE 上的 Kueue 替代在内部聊天频道中手动分配 GPU 的方式,来管理跨多个团队共享的约 10,000 块 GPU 的集群。AI21 与 Google Kueue 团队的合作推动了准入公平共享(Admission Fair Sharing,AFS)等新功能的开发,使高优先级工作负载的启动时间缩短了 83%。
Agent Substrate 是一款开源的代理执行运行时,现已在 Google Kubernetes Engine 上可用,提供高密度沙箱,具有亚秒级激活和安全功能,用于扩展 AI 代理。
Google 开源了其 Agent Skills 仓库,用于在 Google Cloud 上构建、测试和扩展 agent skills,涵盖 GKE、BigQuery 和 Gemini API。
Ray Serve LLM 在 Ray 2.56 中,对预填充密集型工作负载实现了高达 4 倍的吞吐量提升,对解码密集型工作负载实现了 24 倍的提升,在生产基准测试中与基于 Rust 的路由框架(如 vllm-router)性能相当,这是与 Google Cloud GKE 团队合作宣布的。