梦想是达到200GB VRAM
摘要
用户概述了一个逐步计划,通过在自定义PC构建中组合多个NVIDIA GPU来实现200GB VRAM,涉及购买、安装和电源管理。
步骤 1) 尽快找到16k,以免几个月后涨到20k
步骤 2) 购买 RTX PRO 6000 (MAXQ)
步骤 3) 移除 pcie_1 插槽中的 RTX PRO 5000。替换为 RTX PRO 6000
步骤 4) 购买 NVME to PCIE 转换器和 HPPLEX 500W,然后将 RTX PRO 5000 移到那里
步骤 5) 限制 RTX PRO 6000、RTX 5090 和 RTX PRO 4000 的功耗,以适应 1300W PSU ATX 3.1
4 个 GPU:RTX PRO 6000 (MAXQ) (96GB) gen5 x8,RTX 5090 (32GB) gen5 x8,RTX PRO 5000 (48GB) gen4 x4,RTX PRO 4000 (24GB) gen4 x4 =200GB VRAM !!!
如何完成步骤 1??
相似文章
70级显存停滞不前
作者观察到Nvidia桌面级70系列GPU已经连续两代停留在12GB显存,并暗示Nvidia可能是故意限制显存,以维持对利润率更高的AI硬件需求的增长。
RTX 2080 Ti 显存升级至22GB
GPU Solutions 提供一项服务,通过更换GDDR6模块将NVIDIA GeForce RTX 2080 Ti的显存从11 GB升级至22 GB,包括BIOS配置和稳定性测试。
12GB显存的小伙伴们,我们的计划是什么?
讨论在12GB显存上运行LLM,注意到当前焦点是稠密模型,如Muse Glimmer 30B和Qwen 3.8 27B,并质疑是否需要升级到24GB显存。
超低成本20GB显存,448GB/s带宽,仅需100美元。
演示了如何用约100美元通过两张NVIDIA P102-100显卡实现20GB显存和448GB/s带宽,运行llama.cpp服务并搭载Qwen模型,支持3个并发用户处理大上下文。
给机子加了一张旧2070 Super后,我回不去了……更糟糕的是,我现在需要更多
一位用户分享了将旧款 NVIDIA 2070 Super GPU 添加到机子中以获得额外 VRAM 的经验,使其能够以高量化和上下文大小运行像 Qwen3.6-27B 这样的更大模型,且性能良好,现在正考虑升级到 3090 以获得更多 VRAM。