你的本地与云端成本分界线在哪里?(3 个预设、3 种 API 费率,以及大多数计算器都在猜的缓存 token 差价):)

Reddit r/LocalLLaMA 工具

摘要

一个免费的浏览器端 LLM 成本计算器,让你对比本地 GPU 推理(内置 RTX 4070 Ti Super / 5090 预设)与云端 API 定价,指出缓存输入 token 的费率——这是其他计算器经常靠猜的数字——最能决定本地与云端的交叉点落在哪里。

以你当地的电费,自托管到底值不值?答案只需 3 个数字,你可以自己代入算算 :) 我为此做了一个计算器(它是 153 个免费工具之一,直接在浏览器里运行,不上传任何数据,也无需注册):https://appdoesit.com/apps/llm-cost-calculator 它做两件事。 1) 本地侧:瓦数 × 小时数 × 你的每度电价,内置 3 个 GPU 预设(RTX 4070 Ti Super 500 W,约 1k 上下文 / 50 tok/s;RTX 5090 900 W,约 2.5k / 120 tok/s;同一块 5090 开启节能模式 650 W,约 2k / 100)。 2) 云端侧:输入、输出和缓存 token 按参考 API 费率计算(每 1M 分别为 $0.25 / $1.20 / $0.02)。 最能左右我结论的那一项,是缓存输入的费率。大多数计算器对它全靠猜,而交叉点恰恰藏在这里:一段被缓存的前缀在某些服务商那里重新读取几乎不花钱,在另一些那里却要真金白银——所以你的本地 vs 云端答案会随着服务商的缓存账单摆动,而不只是看标价。 根据我的经验,一旦 prompt 很长且会被反复使用,交叉点比多数人预期的更远:在固定场景下(60k 输入 / 50k 缓存 / 2k 输出,90% 在线率),电费那一侧几乎是一条平线,而 API 费用那边还在持续攀升。 这个帖子我已经挂了 8 天,收到 40 条评论,最有用的回复都是那些附上了自己机器实际数字的人。跑一个贴合你工作负载的场景,然后告诉我你的分界线落在哪里 :)
查看原文

相似文章

Apple Silicon 的成本高于 OpenRouter

Hacker News Top

每百万 token 的成本对比:在 Apple Silicon 硬件上本地运行 LLM 与通过 OpenRouter 使用云推理的成本比较,发现本地推理通常贵 3 倍且更慢。

如何衡量编程模型成本

Reddit r/AI_Agents

一篇解析文章,分析 AI 模型用于编程的实际成本,通过 token 定价、缓存分布和订阅数学来比较 DeepSeek Flash 和 OpenAI 的 Luna。