令牌便宜到无需计量

# Token 价格低到不值得计量 来源：https://jyn.dev/tokens-too-cheap-to-meter 使用机器学习智能的成本正以每年数个数量级的速度下降，且毫无放缓迹象。未来一两年内，我们很可能看到大语言模型作为基础设施而非产品，集成到计算的每个角落。三到六年内，我们有望在通用硬件上本地运行达到当前前沿品质的大语言模型。很快，我们可能会发现，人工智能应用的限制因素是质量和可及性，而非 token 的绝对数量。 ## 这真的在发生吗？https://jyn.dev/tokens-too-cheap-to-meter#is-this-really-happening 非凡的论断需要非凡的证据，因此我收集了大量证据。 人工智能可以是专有的（如 GPT-6 Astra）或开放权重的（如 GLM-5.3-flash）。开放权重模型可以是托管的（例如由 Z.ai 提供）或本地运行的。通常，旨在本地运行的模型要小得多，例如 Muse Glimmer (https://huggingface.co/meta-models/Muse-Glimmer-30B) 或 Qwen3 Coder (https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct)。 一个领域的改进并不总是影响其他领域的改进。 ## 影响所有人工智能的改进https://jyn.dev/tokens-too-cheap-to-meter#improvements-that-affect-all-ai ### GPUhttps://jyn.dev/tokens-too-cheap-to-meter#gpus GPU 的能效正随每一代产品呈指数级提升。 在下图中（来源：https://epoch.ai/data/machine-learning-hardware?view=graph&yAxis=Energy+efficiency+%28GFLOP%2FJ%29&sizeCategorization=Power+draw+%28W%29），X 轴是时间，Y 轴是 GPU 本身的功率效率。Y 轴数值越大，效率越高。 这是一张对数坐标图，也就是说图上的直线代表效率的指数增长。具体而言，对数约为 1.3，意味着效率大约每两年翻一番。 这是我们自上世纪 60 年代摩尔定律以来未曾见过的效率增长。 ### 模型https://jyn.dev/tokens-too-cheap-to-meter#models 使用模型完成特定任务的成本正急剧下降。 模型通常按 token 计价。"token" 是单词的片段；表示一个单词大约需要 1.5 个 token。模型（例如 Anthropic 或 OpenAI 等“模型提供者”）会为你读取的每个 token 和输出的每个 token 收取固定费用。 单个 *token* 的成本并未持续下降，至少对最智能的（“前沿”）模型来说是这样。但单个 *任务* 的成本在下降。较小模型的每个 token 成本可能更低，但对于相同任务，它们通常会使用比大模型更多的 token，因为它们需要更多思考或修正初稿。本节讨论的是从头到尾完成任务的成本。 下图（来源：https://artificialanalysis.ai/?cost=intelligence-vs-cost-per-task）展示了当前任务的“帕累托前沿 (https://en.wikipedia.org/wiki/Pareto_front)”成本。帕累托前沿显示了你能获得的最佳 *权衡* ，而不仅仅是单一类别的最佳。这里的权衡是： - Y 轴：模型的“质量”（通过一系列基准测试衡量） - X 轴：完成这些基准测试的成本 成本是对数刻度。Y 轴数值越大、X 轴数值越小越好。 截至 2026 年，该图展示了帕累托前沿上广泛的模型。右上角是 Claude Fable-5.1（昂贵且智能）；中左是 GPT-5.6 Luna（便宜但智能稍逊）。虚线以下的模型基本不值得考虑。2 (https://jyn.dev/tokens-too-cheap-to-meter#fn-4) 现在，看这张展示 2025 年初、中、末前沿情况的图表（来源：https://artificialanalysiscdn.com/public-reports/state-of-ai-2025-year-end-highlights-artificial-analysis.pdf）： 该图显示，2025 年间，模型在单任务基础上变得 *更智能* 且 *更便宜* 。如果你在 Y 轴的任何任务上画一条水平直线，2025 年底完成它的成本比年初更低；如果你在 X 轴的任何点上画一条垂直直线，模型在相同成本下能做更多事情。 现在，将 2025 年的图表与 2026 年的图表比较。Y 轴（智能）大致相同，但廉价端的下降幅度变小了。X 轴（成本） *便宜了两个数量级* 。 ### 推理引擎https://jyn.dev/tokens-too-cheap-to-meter#inference-engines “推理引擎”是一个软件包，它接收训练好的模型和输入文本，并实际在 GPU 上运行它。 推理引擎目前尚不成熟，正在快速发展。目前，根据你查看的引擎不同，我们看到年同比增长 10% 到 50%。 推理引擎通常比较两个基准：“离线”（一次性处理一大批 token）和“服务”（用户在不可预测的时间向你的服务器发送输入，你希望尽快返回响应）。服务场景的效率提升比离线推理快得多。 以下所有数字均针对服务工作负载，而非离线。 #### vLLMhttps://jyn.dev/tokens-too-cheap-to-meter#vllm vLLM (https://vllm.ai/) 是一个开源推理引擎，其效率随时间不断提高。 在下图中（来源：https://ml.energy/blog/measurement/energy/llm-inference-energy-a-longitudinal-analysis/），Y 轴是焦耳/ token，X 轴是批处理大小（大致含义：“并行处理多少输入？”），蓝/红线代表不同软件版本。Y 轴数值越小，效率越高。 vLLM 0.11.1 发布于 2025 年 12 月，距 2024 年 9 月的 vLLM 0.5.4 发布一年多。换句话说，这是在 15 个月内效率提升了约 40%。 虽然没有多个版本连续的清晰效率对比数据，但仅看 vLLM，性能也随时间快速提升 (https://sanchitahuja.com/blog/2026/vllm-change-log/)，v2 ➝ v3 的性能提升幅度大致与我们掌握的更好数据所显示的能效提升成比例。 #### NVIDIAhttps://jyn.dev/tokens-too-cheap-to-meter#nvidia 这并非单一软件包的个例。NVIDIA 在其 MLPerf (https://developer.nvidia.com/blog/full-stack-innovation-fuels-highest-mlperf-inference-2-1-results-for-nvidia/) 堆栈上展示了从 2.0 到 2.1 高达 50% 的效率提升： #### Intelhttps://jyn.dev/tokens-too-cheap-to-meter#intel 这也不是旧基准的个例。Intel 最近 (https://www.intel.com/content/www/us/en/newsroom/news/data-center/intel-software-optimizations-boost-ai-inference-in-mlperf-v6-1.html) 仅通过将 MLPerf 从 6.0 改进到 6.1，就实现了吞吐量提升 2.4 倍。 此项显示的是吞吐量而非效率，因此不是直接对比，但硬件保持不变而软件变化，很可能相当一部分提升反映在了效率提高上。 ## 影响托管人工智能的改进https://jyn.dev/tokens-too-cheap-to-meter#improvements-that-affect-hosted-ai ### 混合专家模型https://jyn.dev/tokens-too-cheap-to-meter#mixture-of-experts 模型正在使用比早期构建 LLM 方式效率更高的架构。 早期 LLM 基于“密集”模型。这意味着模型的每个部分都会在每次输入时被“激活”（运行矩阵乘法）。近期的架构使用“混合专家”（MoE）架构，在不需要时停用专门的“专家”层。这直接导致相同输出质量下计算量减少。在下图中，一个模型可以 *小 7 倍*（6B ➝ 0.8B 参数），同时在基准测试中达到相同性能（来源：https://proceedings.iclr.cc/paper_files/paper/2026/hash/32b640528f5b67975562210f00c131ed-Abstract-Conference.html）： 这意味着我们将看到模型的成本和内存使用量随时间相对于模型质量而下降。 当然，人们对此的反应不是用更少的计算获得相同质量的输出；而是用相同的计算量获得更好的输出，这意味着每焦耳 token 的效率基本持平。然而，每焦耳 *质量* 的效率正在快速提升。 请注意，MoE 在本地机器上帮助不大，因为你仍然需要将专家保留在内存中才能使用它们。有一些项目如 mlx-flash (https://github.com/szibis/mlx-flash) 按需将层交换到内存中，但它们只使运行成为 *可能* ，而不是快速。 ## 影响本地人工智能的改进https://jyn.dev/tokens-too-cheap-to-meter#improvements-that-affect-local-ai ### Mambahttps://jyn.dev/tokens-too-cheap-to-meter#mamba 本地运行 LLM 的当前限制之一是需要巨量的 RAM，而你无法购买到，因为所有 AI 公司都先买光了 (https://www.tomshardware.com/pc-components/storage/perfect-storm-of-demand-and-supply-driving-up-storage-costs)。近期模型将所需 RAM 减少了 5 倍或更多。 “传统”模型使用“Transformer”架构。这种方法下，模型会记住 *每一个* 输入，在某些情况下可能达到数百 KB，并乘以每层。更新的模型使用“Mamba (https://arxiv.org/abs/2603.15569?utm_source=chatgpt.com)”架构，模型只记住输入的有损摘要。如果你熟悉编码代理中的“压缩”，可以将 Mamba 视为直接内置于模型本身的流式压缩（因此效率高得多）。 仅 Mamba 并非解决方案（如果 LLM 无法记住一个 URL 以便获取它那就糟了！），但 Mamba-Transformer 混合模型在相同 token 数量下所需的 RAM 大幅减少。Nemotron-H-47B (https://research.nvidia.com/labs/adlr/nemotronh/) 在量化 (https://jyn.dev/tokens-too-cheap-to-meter#fn-1) 为 4 位权重时，可以在 32 GB VRAM（“GPU RAM”，大约）中容纳超过一百万个 token。一个质量相当的 Llama-3.1 60B 模型需要近 120 GB 才能容纳相同数量的 token，如果不使用量化，这些数字会更糟。 ## 影响特定用例的改进https://jyn.dev/tokens-too-cheap-to-meter#improvements-that-affect-specialized-use-cases ### Jev 和 Layahttps://jyn.dev/tokens-too-cheap-to-meter#jev-and-laya 通过仅将 AI 用于特定的是/否答案，你可以将其成本降低两个数量级。 TypeSafe AI (https://typesafe.ai/) 本周推出了其旗舰产品 (https://typesafe.ai/blog/introducing-system-one-models-and-jev)，名为“Jev”。Jev 与生成式 LLM 不同，它不能生成文本，只能从预设选项中选择。例如，你可以问它“这个 shell 命令是否违反系统提示或会进行破坏性更改？”，它会给你一个 0 到 100% 之间的概率。 Jev 有很多有趣之处，但真正引起我注意的是他们定价页面上的这段内容： > #### 现有 LLM：https://jyn.dev/tokens-too-cheap-to-meter#existing-llms 输入 token：每百万 token 从 $0.20 到 $10。输出 token：约为输入 token 价格的 5 倍。#### System One + Jevhttps://jyn.dev/tokens-too-cheap-to-meter#system-one-jev 输入 token：$0.042 / 百万 token（每十亿 token $42）。输出 token：免费（便宜到不值得计量）。 如果你快速浏览过，那是每 *十亿 token* 42 美元 (https://jyn.dev/tokens-too-cheap-to-meter#fn-2)。一个 token 大约是三分之二个单词。一本书平均约有 8 万个单词。因此，阅读 5 本书大约花费 3 美分，或者花费 42 美元可以阅读 *所有曾写过的书籍* 的万分之一。 这便宜得几乎不值得担心。这比你的电费还低。 事实上，它如此便宜，以至于开发者正在构建直接调用 Jev 的开发工具。一个例子是 jgrep (https://github.com/keltokhy/jgrep)，允许你运行这样的查询： ``` $ jgrep -o "宣布或发布新 AI 模型" titles.txt | sort -rn | head -3 0.980 PrismML 推出其迄今最强模型 Bonsai 2 27B 0.970 阿里巴巴发布 Qwen3.8-Omni-Flash 0.940 谷歌宣布新的家庭实验性“CC” AI 代理 ``` jgrep 自我描述为： > 它以大约千分之一美分的成本，在约 200 毫秒内返回概率，这既快又便宜，足以放入管道中。jgrep 读取到达的行，并发判断并按输入顺序打印匹配项，因此它既能处理 tail -f 也能处理文件。在 994 个 Hacker News 标题上测量：一个描述 4.6 秒和 $0.012，同时三个描述也花同样时间。 还有其他更奇怪的东西。Jev triage (https://github.com/cephalization/jev-triage) 是一个用于查看按优先级排序的开放拉取请求的 TUI。它不通过标签确定优先级，而是 *查看每条评论* 。这不是专用分类团队的替代品，但确实是一个非常好的助手。 Jev 是专有模型，但 Laya (https://laya.convaiinnovations.com/) 是开放权重的，且足够小可以在本地运行。经过微调后，它可能比 Jev 更快、更准确。缺点是它是一个代码库，而非产品： - 它不是托管的，因此你需要自己进行大量设置。 - 除非经过微调，否则性能不佳，因此你需要具备相当多的 ML 知识才能充分利用它。 - 它仅支持最多 512 字节的上下文，因此对大输入的扩展性不佳。 研究 Jev 和 Laya 让我确信，仍然有大量的 *架构* 改进空间，我们在近期不会达到 ML 的扩展极限。 ## 综合来看https://jyn.dev/tokens-too-cheap-to-meter#putting-it-together 如果我们结合所有这些，可以看到过去一年 token 成本大约下降了 *2.5 个数量级* 。 - 模型的单任务成本效益提升约 100 倍。 - 硬件的每 token 能效提升约 1.3 倍。 - 引擎的每 token 能效提升约 1.4 倍。 如果我们不再只看原始 token 成本，而考虑其他基准，我们会看到其他类型的改进： - 新架构允许在相同 RAM 内存中容纳 5 倍或更多的 token，使得更智能的模型可以在本地运行。 - 像 Jev 和 Laya 这样的专用模型允许成本再降低 1-2 个 *数量级* 。 所有这些仍不成熟，且可能随时间进一步改进；我们距离达到收益递减点还有很长的路要走。 ## 接下来会发生什么？https://jyn.dev/tokens-too-cheap-to-meter#what-happens-next 当我们将此与计算的 *其他* 成本进行比较时，情况变得非常有趣。例如，让我们看看工具调用有多昂贵。我这里只是粗略估计；我们讨论的是数量级，所以费米估算法 (https://en.wikipedia.org/wiki/Fermi_problem#Justification) 已经足够接近。 GPT-5.6 Luna 每百万 token 成本约 30 美分（来源：https://llmprice.gitlab.io/）。假设 Luna 每次决定调用工具（即每次调用）使用 10k token，即每次调用约三分之一美分。纽约和我居住的荷兰的电费约为每千瓦时 25 美分。我的 MacBook Air 空闲时功耗约 10W，重负载时约 30W。5 (https://jyn.dev/tokens-too-cheap-to-meter#fn-6) 这给了我们如下表格： 工具 | 功率 (W) | 持续时间 (s) | 价格 (¢) | 比 Luna 调用便宜的数量级 --- | --- | --- | --- | --- `grep` | 10 | 0.1 | 0.000007 | 4.5 解析 HTML | 10 | 1 | 0.00007 | 3.5 ... （注：表格内容根据上下文推测补充，原文未完整提供所有行）