70级显存停滞不前
摘要
作者观察到Nvidia桌面级70系列GPU已经连续两代停留在12GB显存,并暗示Nvidia可能是故意限制显存,以维持对利润率更高的AI硬件需求的增长。
一直在想桌面级70系列已经连续两代保持在12GB显存这件事——4070、4070 Super、5070,全都是12GB。2016年的1070给了你8GB,当时感觉这个价位相当慷慨。十年之后,提升只有……4GB。而且关键在于,这些芯片本身并不弱。核心性能在不断提升,只是被显存限制住了。一张24GB显存的70级显卡本来会是一台真正有能力跑本地模型的廉价机器。这或许正是关键所在。Nvidia通过销售高显存AI显卡赚到的钱,远多于让一张550美元的游戏卡去运行那些目前需要更贵硬件才能跑的模型。显然无法证明其意图,但利益动机的契合度实在太高了。显存短缺也是一个现实因素,只是感觉不止如此。
相似文章
统一内存,详解:为何迷你PC能运行大型GPU无法运行的70B模型
阐释了迷你PC中的统一内存如何使其能够运行超过高端GPU显存容量的大型70B参数AI模型,尽管因内存带宽较低而导致速度较慢。
@itsharmanjot: 384GB显存。就在你的办公桌上,而非数据中心。Autonomous,SmartDesk背后的公司,刚刚完全开源了…
Autonomous 完全开源了个人AI电脑的完整构建指南,该电脑最高搭载384GB显存,可本地运行开源模型,无需API费用,也无服务中断风险。
RTX 2080 Ti 显存升级至22GB
GPU Solutions 提供一项服务,通过更换GDDR6模块将NVIDIA GeForce RTX 2080 Ti的显存从11 GB升级至22 GB,包括BIOS配置和稳定性测试。
@che_shr_cat: 1/ 我们一直误解了GPU内存的使用方式。如果GPU根本不需要存储你的模型呢?MegaTrain 实现了…
MegaTrain 通过将 VRAM 视为瞬时无状态缓存,反转内存层次结构,在单张 GPU 上实现了 100B 以上大语言模型的全精度训练。
@sudoingX: 保存这条。它回答了一个每个24GB GPU用户都会问但几乎没人答对的问题:我实际能运行多大的上下文?
一位用户分享了在24GB GPU上运行Qwen 3.6 27b的详细VRAM用量测量数据,展示了上下文窗口大小和余量,并指出二手RTX 3090的性能与新卡完全相同。