别再假装自托管更便宜了。其实并非如此。我们这样做是出于其他原因,而且我们应该坦诚相告。
摘要
一位用户详细分析了自托管AI推理硬件与租用云计算的真实成本,得出结论:自托管每个token并不便宜,但出于隐私、控制和可玩性,它仍然值得。
上周我仔细算了自己设备的账,我已经厌倦了看到这个子版块不断重复“本地更便宜”这种没有数字依据的说法。让我来实际分析一下。我的配置:2x 3090(二手,总计1400美元)、Ryzen 7900X、64GB DDR5,总共大约2800美元。负载下功耗约700W。按我的电价,仅保持运行每小时大约0.21美元。加上GPU折旧(摊销3年),每个活跃小时的边际成本大约在0.50-0.80美元之间,具体取决于使用频率。现在对比RunPod:单个H100 80GB按需价格约1.99美元/小时,承诺使用价1.49美元/小时。这个H100运行Qwen3.6-35B-A3B的吞吐量是我双3090配置的2-3倍。所以按每个token计算,H100实际上更便宜。如果诚实面对我的使用情况(每天大约2-3小时的重度推理),我每个token支付的成本比按需租用要贵得多。那么我为什么还要保留这台设备呢:
- 隐私:我运行不想被云提供商记录的东西
- 尊严:我不想因为查询自己的数据而向公司请求许可
- 可玩性:我能学到租用设备学不到的东西
- 冷启动:我的设备始终在线,无需30秒的容器启动时间
- 主权:当提供商限制我的速率时,我的基础设施不会消失
这些都不是经济层面的原因。它们都关乎控制权。这没问题,它值得为之付费。但请别再假装经济账是另一回事了。你们当中有多少人真的计算过自己搭建与租用同等算力的成本?还是我们都只凭感觉行事,哈哈?
相似文章
追求 AI 独立之旅 (23 分钟阅读)
作者分析了 GitHub Copilot 转向按用量计费的策略,认为这是为了建立用户依赖,并分享了自身转向高内存硬件进行本地 AI 推理的经验,以此降低成本并保持工作流的独立性。
每个AI提示都需花费成本——这改变了一切
文章认为,AI的真正挑战不仅在于构建更智能的模型,更在于以规模化的方式降低成本效率,强调了减少token使用、提升速度以及优化基础设施的重要性。
为什么我认为‘just go local’的AI趋势只是一种科技泡沫的错觉
文章认为,使用昂贵AI硬件‘本地化’的趋势是一种科技泡沫的错觉,因为大多数用户高估了自己的需求,无法证明成本的合理性,尤其是在云端AI在财务状况不可持续后转向按使用量计费的情况下。
@ridark_eth: 我了解自托管之前:Google One -> $100/月 1Password -> $36/月 Netflix / Spotify -> $1,000/年 Notion /…
这条推文比较了流行付费服务(Google One、1Password、Netflix等)的高昂费用与免费自托管替代方案(如Nextcloud、Vaultwarden、Jellyfin等),倡导自托管是一种成本效益高且尊重隐私的方式。
@LottoLabs: 运行本地模型所学的技能比硬件成本更有价值
这条推文认为,运行本地模型所获得的技能比硬件成本更有价值。