@YRSM_Simon: 老黄的刀法，精准到让人牙痒 NVIDIA 宣传 DGX Station：748GB 统一内存。 听起来碾压一切，4× RTX PRO 6000 的 384GB？不够看。 但拆开看——748GB = 252GB HBM3e + 496GB …

X AI KOLs Following 新闻
nvidia dgx-station memory hbm gpu hardware-analysis

摘要

揭露NVIDIA DGX Station宣传的748GB统一内存中实际只有252GB高速HBM可用，其余496GB慢速LPDDR5X在大模型推理中基本无用，体现了NVIDIA精准的产品差异化策略。

老黄的刀法，精准到让人牙痒 NVIDIA 宣传 DGX Station：748GB 统一内存。 听起来碾压一切，4× RTX PRO 6000 的 384GB？不够看。 但拆开看——748GB = 252GB HBM3e + 496GB LPDDR5X。 那 496GB LPDDR5X 带宽只有 ~273GB/s，跟 HBM 的 7.1TB/s 差了 26 倍。跑大模型推理，只有 HBM 里的数据是"快"的，剩下 496GB 基本是摆设，放放不活跃的权重还行，真要算就是慢动作。 所以实际能高速用的 HBM：**252GB**。 宣传 748GB，实际 252GB。这一刀的精妙之处在于： - 748GB 这个数字刚好碾压 4× RTX PRO 6000 的 384GB，让你觉得不用考虑多卡方案了 - 但 252GB HBM 刚好比 288GB 满血少了 12%，刚好让你跑 200B 模型有点紧 - 496GB LPDDR5X 刚好让数字好看，但实际推理/训练帮不上忙 更绝的是 NVLink 从 RTX PRO 6000 上消失了，多卡只能走 PCIe。你以为 4 卡 384GB 是出路？通信开销打折。你以为 Station 748GB 是终极答案？实际只有 252GB 能跑。 宣传让你觉得没有对手，实际刚好留一口气吊着你。 4× RTX PRO 6000：384GB GDDR7，7.2TB/s 总带宽，$60k。真 HBM 252GB？对不起，$85k+，还缩了水。 老黄不在乎你买哪个，他在乎的是——无论你选哪条路，都别想舒舒服服。 这就是刀法。
查看原文
查看缓存全文

缓存时间: 2026/07/09 09:34

老黄的刀法，精准到让人牙痒

NVIDIA 宣传 DGX Station：748GB 统一内存。

听起来碾压一切，4× RTX PRO 6000 的 384GB？不够看。

但拆开看——748GB = 252GB HBM3e + 496GB LPDDR5X。

那 496GB LPDDR5X 带宽只有 ~273GB/s，跟 HBM 的 7.1TB/s 差了 26 倍。跑大模型推理，只有 HBM 里的数据是“快“的，剩下 496GB 基本是摆设，放放不活跃的权重还行，真要算就是慢动作。

所以实际能高速用的 HBM：252GB。

宣传 748GB，实际 252GB。这一刀的精妙之处在于：

  • 748GB 这个数字刚好碾压 4× RTX PRO 6000 的 384GB，让你觉得不用考虑多卡方案了
  • 但 252GB HBM 刚好比 288GB 满血少了 12%，刚好让你跑 200B 模型有点紧
  • 496GB LPDDR5X 刚好让数字好看，但实际推理/训练帮不上忙

更绝的是 NVLink 从 RTX PRO 6000 上消失了，多卡只能走 PCIe。你以为 4 卡 384GB 是出路？通信开销打折。你以为 Station 748GB 是终极答案？实际只有 252GB 能跑。

宣传让你觉得没有对手，实际刚好留一口气吊着你。

4× RTX PRO 6000：384GB GDDR7，7.2TB/s 总带宽，60k。真 HBM 252GB？对不起，85k+，还缩了水。

老黄不在乎你买哪个，他在乎的是——无论你选哪条路，都别想舒舒服服。

这就是刀法。

相似文章

@AYi_AInotes: Damn，英伟达和老黄真的是憋了个大的啊，真特么牛逼 今天全网都在转黄仁勋这台拔了电源还能满帧跑 3A 的笔记本，但大多数人看错了重点，游戏其实只是这台机器的糖衣。 真正的核弹是那 128GB 统一内存，它意味着你桌上一台轻薄本，能在本地…

X AI KOLs Timeline

文章评价NVIDIA新款笔记本，其128GB统一内存使本地运行200B大模型成为可能，拔电不掉帧，瞄准AI本地部署用户，认为这是将数据中心能力下放至便携设备的重要一步。

@rickawsb: 英伟达也认为存储是比gpu更大的瓶颈 — nvda最新文章解读 NVIDIA 最新发布的《AI Model Co-Design》是一篇介绍 TensorRT-LLM 和 Blackwell 的技术文章， 但也是一份未来几年大模型设计和 A…

X AI KOLs Following

本文深入解读NVIDIA最新发布的《AI Model Co-Design》文章，指出在AI推理场景中，存储（内存带宽、权重读取）已取代GPU算力成为主要瓶颈，并阐述了TensorRT-LLM和Blackwell架构围绕Roofline模型的设计策略，强调减少数据移动比提升计算能力更为关键。

@FinanceYF5: SK hynix和NVIDIA签了多年合作协议。 内存芯片不能等GPU设计完再做，先进DRAM需多年联合设计、制造规划和资本投入。 AI超算、个人AI PC、Jetson机器人平台。用NVIDIA工具做芯片厂数字孪生，在真实产线动之前，先…

X AI KOLs Timeline

SK hynix与NVIDIA签署多年合作协议，涉及先进DRAM的联合设计、制造规划以及AI基础设施（超算、AI PC、Jetson）和数字孪生工厂技术，标志着AI基础设施竞争已深入内存层面。