别再假装自托管更便宜了。其实并非如此。我们这样做是出于其他原因,而且我们应该坦诚相告。

Reddit r/LocalLLaMA 新闻

摘要

一位用户详细分析了自托管AI推理硬件与租用云计算的真实成本,得出结论:自托管每个token并不便宜,但出于隐私、控制和可玩性,它仍然值得。

上周我仔细算了自己设备的账,我已经厌倦了看到这个子版块不断重复“本地更便宜”这种没有数字依据的说法。让我来实际分析一下。我的配置:2x 3090(二手,总计1400美元)、Ryzen 7900X、64GB DDR5,总共大约2800美元。负载下功耗约700W。按我的电价,仅保持运行每小时大约0.21美元。加上GPU折旧(摊销3年),每个活跃小时的边际成本大约在0.50-0.80美元之间,具体取决于使用频率。现在对比RunPod:单个H100 80GB按需价格约1.99美元/小时,承诺使用价1.49美元/小时。这个H100运行Qwen3.6-35B-A3B的吞吐量是我双3090配置的2-3倍。所以按每个token计算,H100实际上更便宜。如果诚实面对我的使用情况(每天大约2-3小时的重度推理),我每个token支付的成本比按需租用要贵得多。那么我为什么还要保留这台设备呢: - 隐私:我运行不想被云提供商记录的东西 - 尊严:我不想因为查询自己的数据而向公司请求许可 - 可玩性:我能学到租用设备学不到的东西 - 冷启动:我的设备始终在线,无需30秒的容器启动时间 - 主权:当提供商限制我的速率时,我的基础设施不会消失 这些都不是经济层面的原因。它们都关乎控制权。这没问题,它值得为之付费。但请别再假装经济账是另一回事了。你们当中有多少人真的计算过自己搭建与租用同等算力的成本?还是我们都只凭感觉行事,哈哈?
查看原文

相似文章

追求 AI 独立之旅 (23 分钟阅读)

TLDR AI

作者分析了 GitHub Copilot 转向按用量计费的策略,认为这是为了建立用户依赖,并分享了自身转向高内存硬件进行本地 AI 推理的经验,以此降低成本并保持工作流的独立性。

每个AI提示都需花费成本——这改变了一切

Reddit r/AI_Agents

文章认为,AI的真正挑战不仅在于构建更智能的模型,更在于以规模化的方式降低成本效率,强调了减少token使用、提升速度以及优化基础设施的重要性。