别再假装自托管更便宜了。其实并非如此。我们这样做是出于其他原因,而且我们应该坦诚相告。
摘要
一位用户详细分析了自托管AI推理硬件与租用云计算的真实成本,得出结论:自托管每个token并不便宜,但出于隐私、控制和可玩性,它仍然值得。
上周我仔细算了自己设备的账,我已经厌倦了看到这个子版块不断重复“本地更便宜”这种没有数字依据的说法。让我来实际分析一下。我的配置:2x 3090(二手,总计1400美元)、Ryzen 7900X、64GB DDR5,总共大约2800美元。负载下功耗约700W。按我的电价,仅保持运行每小时大约0.21美元。加上GPU折旧(摊销3年),每个活跃小时的边际成本大约在0.50-0.80美元之间,具体取决于使用频率。现在对比RunPod:单个H100 80GB按需价格约1.99美元/小时,承诺使用价1.49美元/小时。这个H100运行Qwen3.6-35B-A3B的吞吐量是我双3090配置的2-3倍。所以按每个token计算,H100实际上更便宜。如果诚实面对我的使用情况(每天大约2-3小时的重度推理),我每个token支付的成本比按需租用要贵得多。那么我为什么还要保留这台设备呢:
- 隐私:我运行不想被云提供商记录的东西
- 尊严:我不想因为查询自己的数据而向公司请求许可
- 可玩性:我能学到租用设备学不到的东西
- 冷启动:我的设备始终在线,无需30秒的容器启动时间
- 主权:当提供商限制我的速率时,我的基础设施不会消失
这些都不是经济层面的原因。它们都关乎控制权。这没问题,它值得为之付费。但请别再假装经济账是另一回事了。你们当中有多少人真的计算过自己搭建与租用同等算力的成本?还是我们都只凭感觉行事,哈哈?
相似文章
停止购买新硬件的理由(或者,为什么推理成本越来越低)
该文认为,AI模型效率提升如此之快,以至于维持固定智能水平所需的硬件成本大约每3个月减半,这使得租赁前沿智能或拥有落后硬件比购买新硬件更经济。
2026年真正私密的AI是什么
一场讨论,质疑主流AI工具是否真正保护隐私,指出大多数依赖云服务器,并询问本地或自托管模型是否可行。
拥有能本地运行模型的硬件比以往任何时候都重要
一篇观点文章,主张个人应优先拥有能本地运行开源AI模型的硬件,以维护隐私和独立性。文章引用近期的政府限制以及GPT-5.6 Sol等模型的发布,认为这是精英阶层控制先进AI的迹象。
计算2万美元本地AI设备的实际成本回收期
针对构建一台价值2万美元的本地AI设备进行成本效益分析,并计算其与云AI服务相比的盈亏平衡点。
追求 AI 独立之旅 (23 分钟阅读)
作者分析了 GitHub Copilot 转向按用量计费的策略,认为这是为了建立用户依赖,并分享了自身转向高内存硬件进行本地 AI 推理的经验,以此降低成本并保持工作流的独立性。