别再假装自托管更便宜了。其实并非如此。我们这样做是出于其他原因,而且我们应该坦诚相告。

Reddit r/LocalLLaMA 新闻

摘要

一位用户详细分析了自托管AI推理硬件与租用云计算的真实成本,得出结论:自托管每个token并不便宜,但出于隐私、控制和可玩性,它仍然值得。

上周我仔细算了自己设备的账,我已经厌倦了看到这个子版块不断重复“本地更便宜”这种没有数字依据的说法。让我来实际分析一下。我的配置:2x 3090(二手,总计1400美元)、Ryzen 7900X、64GB DDR5,总共大约2800美元。负载下功耗约700W。按我的电价,仅保持运行每小时大约0.21美元。加上GPU折旧(摊销3年),每个活跃小时的边际成本大约在0.50-0.80美元之间,具体取决于使用频率。现在对比RunPod:单个H100 80GB按需价格约1.99美元/小时,承诺使用价1.49美元/小时。这个H100运行Qwen3.6-35B-A3B的吞吐量是我双3090配置的2-3倍。所以按每个token计算,H100实际上更便宜。如果诚实面对我的使用情况(每天大约2-3小时的重度推理),我每个token支付的成本比按需租用要贵得多。那么我为什么还要保留这台设备呢: - 隐私:我运行不想被云提供商记录的东西 - 尊严:我不想因为查询自己的数据而向公司请求许可 - 可玩性:我能学到租用设备学不到的东西 - 冷启动:我的设备始终在线,无需30秒的容器启动时间 - 主权:当提供商限制我的速率时,我的基础设施不会消失 这些都不是经济层面的原因。它们都关乎控制权。这没问题,它值得为之付费。但请别再假装经济账是另一回事了。你们当中有多少人真的计算过自己搭建与租用同等算力的成本?还是我们都只凭感觉行事,哈哈?
查看原文

相似文章

自托管 AI 并不省钱,但我还是照样做

Reddit r/LocalLLaMA

一位 Reddit 用户分享了自己的博客文章,论证自托管 AI 模型与订阅 API 相比其实并不能省钱,但他同时解释说,出于隐私方面的考虑——比如不让个人数据经手外部 API——他仍然选择自托管。

什么时候值得购买自有硬件来在本地运行 AI 智能体?

Reddit r/AI_Agents

作者认为,只有在数据隐私、运行高可用性,或执行量极大导致云 API 成本或速率限制不可持续的情况下,购买本地 AI 硬件才合理;否则每月 10-20 欧元的云订阅要 5-10 年才能在 1000 欧元的硬件上回本。

自托管与人工智能的未来

Reddit r/ArtificialInteligence

本文探讨了AI服务的财务负担,引用了OpenAI和Anthropic等公司的巨额亏损,并指出尽管当前存在经济和技术挑战,自托管可能是未来的解决方案。

这就是我在本地运行的原因。

Reddit r/LocalLLaMA

本文讨论了在个人设备上本地运行AI模型和软件的原因,强调了增强隐私、更好性能和降低成本等好处。