梦想是达到200GB VRAM
摘要
用户概述了一个逐步计划,通过在自定义PC构建中组合多个NVIDIA GPU来实现200GB VRAM,涉及购买、安装和电源管理。
步骤 1) 尽快找到16k,以免几个月后涨到20k
步骤 2) 购买 RTX PRO 6000 (MAXQ)
步骤 3) 移除 pcie_1 插槽中的 RTX PRO 5000。替换为 RTX PRO 6000
步骤 4) 购买 NVME to PCIE 转换器和 HPPLEX 500W,然后将 RTX PRO 5000 移到那里
步骤 5) 限制 RTX PRO 6000、RTX 5090 和 RTX PRO 4000 的功耗,以适应 1300W PSU ATX 3.1
4 个 GPU:RTX PRO 6000 (MAXQ) (96GB) gen5 x8,RTX 5090 (32GB) gen5 x8,RTX PRO 5000 (48GB) gen4 x4,RTX PRO 4000 (24GB) gen4 x4 =200GB VRAM !!!
如何完成步骤 1??
相似文章
我的构建64GB显存AI软件工程助手/代理PC的经验
作者分享了构建高显存AI PC的经验,使用多GPU运行本地模型进行软件工程,详细描述了硬件挑战的解决方案,如电源限制和GPU安装。
70级显存停滞不前
作者观察到Nvidia桌面级70系列GPU已经连续两代停留在12GB显存,并暗示Nvidia可能是故意限制显存,以维持对利润率更高的AI硬件需求的增长。
16GB(在许多情况下是12GB)是大多数人合理拥有的最大显存
文章讨论了由于经济限制,16GB显存对大多数用户来说是现实的高端限制,但最近的AI模型改进,如Qwen 27B quants,使得在这样的硬件上实现更多功能成为可能,并对未来的架构创新抱有希望。
RTX 2080 Ti 显存升级至22GB
GPU Solutions 提供一项服务,通过更换GDDR6模块将NVIDIA GeForce RTX 2080 Ti的显存从11 GB升级至22 GB,包括BIOS配置和稳定性测试。
不到一张RTX 6000的价格,搭建768GB显存系统
一名用户使用12张64GB CMP170HX显卡构建了768GB显存系统,成本低于一张RTX 6000 Pro,能够以强劲性能本地推理各种大型AI模型。