标签
IT 供应商 Core 4 Solutions 在 eBay 上以 5970 万美元的价格上架了一台退役的 300 机架 AI 超级计算机,配备 9600 块 Nvidia A100 GPU 和 4200 颗 AMD EPYC Rome CPU,可通过 FedEx Ground 免费配送。
Ahmad 分享了如何通过 Mikrotik CRS804-4DDQ 1.6Tbps 交换机,将 4 条 400G QSFP-DD 拆分为 2x200G QSFP56,连接 8 台配备 ConnectX-7 的 DGX Spark,实现 1.6Tbps 全速互联的集群方案。
DGX Monarch 是个人开发的开源项目,让使用者能在双 DGX Spark 集群上通过 ComfyUI 进行图像/视频生成,达到近 2 倍的渲染速度提升,支持 BF16/FP8/NVFP4/INT8 等多种精度。作者同时分享了使用 AI 辅助开发此项目所耗费的各平台订阅成本。
NVIDIA 发布 AICR v1.0,提供开源、稳定且可验证的 GPU 加速 Kubernetes 集群配置方案,通过版本锁定的配方和签名验证证据简化跨组件兼容性管理。
一台使用双RTX 3090 GPU、ThinkPad主板和大众高尔夫散热器自制的推理机,能够通过vLLM运行如Qwen3.8-27B等AI模型。
作者分享了构建高显存AI PC的经验,使用多GPU运行本地模型进行软件工程,详细描述了硬件挑战的解决方案,如电源限制和GPU安装。
一篇关于 LLM 推理请求在实际生产环境中到达 GPU 集群后如何进行路由的技术解释。
探索了NVIDIA Dynamo,这是一个用于在多个GPU集群节点上部署LLM的工具,具有模型缓存、自动扩展、多节点部署以及Kubernetes集成等功能。
关于搭建配备8张RTX PRO 6000 GPU的高端AI工作站的建议,强调适当的基础设施、散热,以及避免重复使用DDR4。
ZCube是一种新的网络架构,通过打平拓扑并混合单/多轨接入,优化了长上下文和PD分离场景下的KV Cache传输,在GLM-5.1生产集群中实现了交换机/光模块成本降低33%、GPU推理吞吐提升15%、TTFT P99下降40.6%。
本文介绍了ZCube,一种由Z.ai、Harnets.AI和清华大学提出的新型网络架构,用于解决Prefill-Decode分离式LLM推理集群中由拓扑引起的拥塞问题。在GLM-5.1编码工作负载的生产部署中,网络CapEx降低了33%,吞吐量提升了15%,TTFT P99延迟降低了40.6%。
Jane Street允许Dwarkesh Patel参观其位于德克萨斯州的新数据中心,该中心拥有4,032个GPU,每个机架功耗达140千瓦,突显了其巨大规模与独特的网络选择。
Jane Street 公开了其位于得克萨斯州的 AI 训练中心内部画面,拥有 4032 张 GPU、8000 公里光纤和全面液冷系统,并回顾了从最初 6 台 Dell 主机的简陋起点到如今极致交易系统的 20 年进化历程。
# 推出 Stargate UK 来源:[https://openai.com/index/introducing-stargate-uk/](https://openai.com/index/introducing-stargate-uk/) OpenAI 我们宣布推出 Stargate UK——OpenAI 与 NVIDIA 和 Nscale 合作的 AI 基础设施项目,旨在加强英国的本土算力能力。Stargate UK 确保 OpenAI 的世界领先 AI 模型能够在英国本地计算能力上运行——特别是针对司法管辖权至关重要的专业用例。这将帮助推动英国的未来发展