别再假装自托管更便宜了。其实并非如此。我们这样做是出于其他原因,而且我们应该坦诚相告。
摘要
一位用户详细分析了自托管AI推理硬件与租用云计算的真实成本,得出结论:自托管每个token并不便宜,但出于隐私、控制和可玩性,它仍然值得。
上周我仔细算了自己设备的账,我已经厌倦了看到这个子版块不断重复“本地更便宜”这种没有数字依据的说法。让我来实际分析一下。我的配置:2x 3090(二手,总计1400美元)、Ryzen 7900X、64GB DDR5,总共大约2800美元。负载下功耗约700W。按我的电价,仅保持运行每小时大约0.21美元。加上GPU折旧(摊销3年),每个活跃小时的边际成本大约在0.50-0.80美元之间,具体取决于使用频率。现在对比RunPod:单个H100 80GB按需价格约1.99美元/小时,承诺使用价1.49美元/小时。这个H100运行Qwen3.6-35B-A3B的吞吐量是我双3090配置的2-3倍。所以按每个token计算,H100实际上更便宜。如果诚实面对我的使用情况(每天大约2-3小时的重度推理),我每个token支付的成本比按需租用要贵得多。那么我为什么还要保留这台设备呢:
- 隐私:我运行不想被云提供商记录的东西
- 尊严:我不想因为查询自己的数据而向公司请求许可
- 可玩性:我能学到租用设备学不到的东西
- 冷启动:我的设备始终在线,无需30秒的容器启动时间
- 主权:当提供商限制我的速率时,我的基础设施不会消失
这些都不是经济层面的原因。它们都关乎控制权。这没问题,它值得为之付费。但请别再假装经济账是另一回事了。你们当中有多少人真的计算过自己搭建与租用同等算力的成本?还是我们都只凭感觉行事,哈哈?
相似文章
自托管 AI 并不省钱,但我还是照样做
一位 Reddit 用户分享了自己的博客文章,论证自托管 AI 模型与订阅 API 相比其实并不能省钱,但他同时解释说,出于隐私方面的考虑——比如不让个人数据经手外部 API——他仍然选择自托管。
什么时候值得购买自有硬件来在本地运行 AI 智能体?
作者认为,只有在数据隐私、运行高可用性,或执行量极大导致云 API 成本或速率限制不可持续的情况下,购买本地 AI 硬件才合理;否则每月 10-20 欧元的云订阅要 5-10 年才能在 1000 欧元的硬件上回本。
自托管与人工智能的未来
本文探讨了AI服务的财务负担,引用了OpenAI和Anthropic等公司的巨额亏损,并指出尽管当前存在经济和技术挑战,自托管可能是未来的解决方案。
停止购买新硬件的理由(或者,为什么推理成本越来越低)
该文认为,AI模型效率提升如此之快,以至于维持固定智能水平所需的硬件成本大约每3个月减半,这使得租赁前沿智能或拥有落后硬件比购买新硬件更经济。
这就是我在本地运行的原因。
本文讨论了在个人设备上本地运行AI模型和软件的原因,强调了增强隐私、更好性能和降低成本等好处。