储蓄投资,为未来的顶级硬件做准备

Reddit r/LocalLLaMA 新闻

摘要

作者讨论了包括 RTX Blackwell 和 Apple Silicon 在内的高端 AI 硬件成本不断上升的问题,主张保持耐心,期待未来高速 DDR5 内存和多通道系统的技术突破,这将显著提升 Token 生成性能。

我一直有搭建高性能硬件的冲动。原计划是今年组装一台搭载 1TB 内存的 Genoa 服务器,原本这只是一笔 6000 美元的开销,如今却飙升到了 30000 美元。因此我转而等待 Mac M5 Studio Ultra,但看起来苹果将面临缺货问题,交付时间已从第一季度推迟到第二季度,现在又延到了第三季度,与此同时,RTX Blackwell Pro 6000 的价格仍在不断上涨。我们该怎么办? 随后我看到了一些好消息:更多的中国内存制造商开始投产——[https://wccftech.com/another-chinese-dram-maker-breaks-into-ddr5-memory-mass-producing-64gb-rdimms/](https://wccftech.com/another-chinese-dram-maker-breaks-into-ddr5-memory-mass-producing-64gb-rdimms/) 现在我们已经拥有了 9200MHz 的 DDR5 内存——[https://wccftech.com/micron-doubles-down-on-ai-memory-256-gb-ddr5-rdimms-hitting-9200-mtps/](https://wccftech.com/micron-doubles-down-on-ai-memory-256-gb-ddr5-rdimms-hitting-9200-mtps/) 想象一下,在 Genoa 平台上搭载 12 通道、频率达 9200MHz 的内存会是怎样的体验。这意味着什么?在几年内,我们将迎来 16 通道、频率高达 12000MHz 的内存系统。这种系统在 Token 生成方面将彻底碾压 RTX 5090,你只需要搭配一些廉价的 GPU 用于预填充(prefill)即可。因此,请存好你的钱,对你现有的硬件保持耐心,大约 2-3 年后,你可以用积攒的资金和收益打造一台强悍的系统。如果需求持续存在,供应端就会出现以满足所需的产能;如果需求下降,则会出现过剩。无论如何,展望未来三年,我们都有充分的理由保持非常乐观的态度。
查看原文

相似文章