[Mike Pound] Why AI Tokens are so Expensive - Computerphile

### TL;DR AI 模型的 token 成本主要来自自回归生成过程：模型需要逐 token 预测输出，每次预测都要重新处理整个上下文（包括之前的输入和已生成的输出），导致计算量随上下文长度线性增长。编码智能体通过自主读写文件、多轮交互，会迅速累积超长上下文，使得 token 开销激增，这是近期计费上涨的根本原因。 ## 什么是 Token？ Token 是大型语言模型处理文本的基本单位，它可以是一个词、词的一部分、标点符号或特殊字符。例如： - 英文 "the cat sat on the mat" 中每个单词加空格通常各为一个 token。 - 句号、大括号也是 token。 - 汉字等复杂字符可能对应 1 或 2 个 token。 具体分割方式取决于模型使用的 **分词器（tokenizer）**。分词器基于频率统计：出现极其频繁的词（如 "the"）会单独作为一个 token。现代语言模型通常能访问约 10 万个 token，涵盖标准英语词汇、其他语言、代码符号和特殊 Unicode 字符。使用时，实际活跃的 token 集中在频率最高的几千个，但剩余 token 在需要时也可以被调用。 ## Token 如何被模型使用？ 当 token 输入模型后，首先被转换为数值向量（嵌入）。这些向量是模型从训练中学习得到的，代表 token 的含义。相似含义的 token（如 "cat" 和 "dog"）在向量空间中距离较近。分词器是 LLM 的固定前端和后端，而嵌入则是针对特定模型训练的。 ## 自回归生成：为什么成本如此高昂 大语言模型采用 **自回归** 方式工作： - 模型接收完整的输入（例如 "the cat sat on the"）。 - 它输出下一个最可能的 token（如 "mat"）。 - 接着将新 token "mat" 追加到输入末尾，再次整体输入模型，预测下一个 token。 - 这个过程重复，直到生成完整的输出。 **关键问题**：每次生成下一个 token，模型都需要将 **整个历史上下文**（最初输入 + 所有已生成的 token）重新送入 GPU 计算。这意味着： - 一次简单的问答，假设输入 500 token，思考过程 10,000 token，回复 500 token，实际计算次数 = 10,000 + 500 = 10,500 次前向传播。 - 每次传播时，上下文长度都在增加，计算量随之上升。 这解释了为什么运行这些模型需要大量电力——不是一次性输出整段回复，而是逐 token 生成并不断重复计算。 ## KV 缓存的作用（但仍有限） 为了缓解重复计算，模型会使用 **KV 缓存（键值缓存）**： - 在生成过程中，模型会缓存每一层的中间表示（主要是注意力机制中的 Key 和 Value）。 - 当添加下一个 token 时，只需计算新 token 与已有缓存的交互，无需重新计算所有旧 token 之间的关系。 - 这对于超长上下文（如 100 万 token）效果显著。 然而，缓存有寿命限制：如果用户过久不提问，GPU 上的缓存可能被丢弃（因为要服务其他用户），下次提问时需要重新计算（称为预填充）。因此，缓存的有效性取决于用户提问频率和系统的缓存策略。 ## 编码智能体：成本快速飙升的典型案例 普通聊天机器人的交互通常较短，token 开销有限。但编码智能体（如 GitHub Copilot）完全不同：它能够自主读取文件、搜索代码、执行工具调用，并且可以连续多轮对话。 **成本增长示例**： 1. 系统提示（固定指令）：约 4,000 token。 2. 用户初始查询（例如 "帮我找到并修复认证代码中的 bug"）：约 200 token。 3. 智能体开始思考：它会输出一个很长的推理过程（可能 10,000+ token），之后还要输出实际代码更改（可能 500 token）。 4. 单轮总成本：输入 4,200 token，输出 10,500 token → 10,500 次前向传播。 **多轮交互下的爆炸**： - 用户提出后续问题 → 此时上下文包含原始查询、思考过程、回复（共约 11,100 token）加上新的 200 token → 输入变成 11,300 token。 - 再一个问题 → 输入增至 20,000 token。 - 智能体读取一个 50,000 token 的文件 → 之后每次交互都需要包含该文件，输入猛增至 70,000+ token。 现代提供商的定价约为：输入 token 每百万 2–3 美元，输出 token 每百万 15 美元。当上下文达到几十万 token 时，一次对话的成本可能高达数美元甚至更多。这也解释了为何 GitHub Copilot 等产品最近从固定月费转为基于 token 的计费模式。 ## 总结 - Token 是语言模型的基本处理单元，使用频率决定其分割方式。 - 自回归生成迫使模型每次输出需重新计算整个上下文，这是高计算成本的根源。 - KV 缓存可部分优化，但受限于缓存失效和上下文持续增长。 - 编码智能体因自主文件访问和多轮对话，会极快地推高上下文长度，导致 token 费用大幅上升。 随着 AI 模型上下文窗口不断增大（如百万 token 级别），token 成本将继续是影响用户体验和产品定价的关键因素。 --- **Source**: [Why AI Tokens are so Expensive - Computerphile](https://www.youtube.com/watch?v=-0HRzXk8vlk)