标签
Modal 宣布达成 10 亿美元年化营收并完成 D 轮融资，同时继续推广其面向 AI 工作负载的容器化云基础设施平台，涵盖推理、训练、沙盒与函数计算。
DatologyAI 发布 Curation Studio，面向训练自研模型的团队提供可定制的前沿数据筛选服务，并在 Modal 上利用数百块 B300 GPU 进行大规模合成数据测试验证。
Aleph Alpha 介绍了他们如何将 30B-A3B MoE 模型（被证实为 Kolibri Origin）的预训练从 16 块 NVIDIA B200 GPU 扩展到 512 块，采用分层超参数搜索方法，实现了 35.3% 的 MFU，接近线性扩展——仅比理想情况低 6%，训练基于 InfiniBand/NVLink 网络，使用自定义的 torchtitan 分支。
在Kubernetes上对分布式LLM推理进行基准测试，发现未认证的控制平面端口和安全暴露，缓解措施如NetworkPolicy和WireGuard对性能有影响。
本文推广了在2026年PyTorch Conference North America上关于vLLM中弹性专家并行性的演讲，讨论了如何在混合专家部署中动态添加或移除GPU，同时最小化停机时间。
Modal 详细介绍了他们如何为万亿参数编码代理优化推理性能，为其服务在吞吐量和交互性方面实现了显著提升。
SGLang-Diffusion 与 MiniMax 的 VDN-H3 支持快速、可扩展的视频生成，在 8× B200 GPU 上，仅需 9.0 秒即可生成 14.4 秒的 768p 视频，实现比实时更快的推理。
Modal 是一个专为 AI 工作负载设计的无服务器云平台，支持推理、训练和沙箱，通过纯 Python 代码实现从零到上千 GPU 的瞬间扩展，大幅降低延迟并加速产品上市。
一位用户报告称，在使用Qwen模型进行推理时，添加第二张RTX 3090后实现了近乎线性的性能扩展，在没有NVLink的情况下，解码TPS提升了约1.8倍。
一个Modal教程，展示如何使用ESMFold2和ESMC模型扩展蛋白质绑定剂设计，包含用于迭代优化和自动伸缩基础设施的代码。
OpenAI 分享了他们的深度学习基础设施方法，并开源了 kubernetes-ec2-autoscaler，一个为 Kubernetes 优化的批处理自动扩展管理器，强调基础设施质量如何倍增研究进展。