@smolix: Here's part 1 (of 5) of my short course on efficient LLM inference that I taught at Columbia University. Slides are hea…

Here’s part 1 (of 5) of my short course on efficient LLM inference that I taught at Columbia University. Slides are heavily updated from two weeks ago.

https://t.co/WVCf7mUdkY

TL;DR: 高效 LLM 推理的核心瓶颈在于内存带宽与计算能力的不匹配。本讲从硬件架构出发，分析了 GPU 如何限制推理速度，并介绍了通过模型压缩、KV 缓存优化等手段降低成本的思路。

讲座概述

大家好，我是 Alex，这是我在哥伦比亚大学机器学习暑期学校录制的讲座（约一周前）。总共五讲，第一讲概述 LLM 推理的工作原理和参数，后续深入硬件、服务部署、模型压缩以及 KV 缓存压缩。我们不讨论训练或架构设计，只聚焦于如何让已训练好的模型运行得更快。

为什么推理是内存问题

GPU 的物理限制：以 Blackwell Ultra 为例

目前最强的消费级 GPU 之一是英伟达 Blackwell Ultra。它实际上由两个芯片粘合而成（因为单芯片太大，受“掩膜版尺寸”限制）。两个芯片通过 18 个 NVLink 互连，每个 NVLink 速度 100 GB/s，与 NVSwitch 通信。HPM 控制器连接高带宽内存（HBM3E 标准），CPU 互连（如 Grace Hopper）比 PCIe 快得多。

关键数字：B200 的 FP8 计算能力为 4.5 petaflops（FP16 减半，FP4 翻倍可达 9 petaflops）。主内存带宽 8 TB/s。两者相除：4500 petaflops ÷ 8 TB/s ≈ 每字节需执行约 500 次浮点运算才能喂饱处理器。这意味着数据搬移是瓶颈。

• 生成（解码）：内存带宽是关键。
• 预填充（输入提示词）：计算能力是关键。

在线推理中，小批次、快周转的需求进一步放大内存瓶颈。课程核心：避免数据在硬件间不必要的移动。

学习目标

• 根据模型形状计算 KV 缓存每 token 字节数。
• 区分预填充和解码的计算成本。
• 估计解码吞吐量如何受带宽影响（允许 10-30% 误差）。

运行示例：Quinn 38B 模型。最终讨论如何让它在百万 token 上下文中工作（对于 8B 参数模型稍大，但作为示例）。

如何让 LLM 推理更便宜、更快

核心思想：在不改变模型答案的前提下，把大的比特流变成小的比特流。

• 不关心提示词优化或响应处理。
• 只关心提高吞吐量（每秒 token 数）。
• 其他技术如 RAG、提示工程、扩散模型等是另一门课。

成本下降趋势

以 GPT-3.5 级别模型为例，每百万 token 成本已大幅下降。预计 2026 年可低至 1 美分。可能来源：

1. 硬件改进：英伟达等提供更好架构，每美元操作数更便宜（约 2-4 倍）。
2. 训练后优化：同架构下通过更好训练提升性能（约 2 倍）。
3. 架构设计改进：推测解码、压缩、混合专家、混合块注意力、原生稀疏注意力等（约 2 倍）。

三者复合可得每年 8-10 倍改进，更强大的模型也沿相似轨迹发展。

本讲内容总览

1. 硬件：HBM、Tensor Core、数值格式（如 NVFP4 需特定 GPU）、本地服务生态系统。
2. 服务：VLM 与 SGLang 对比（不深入党派之争），缓存、KV 缓存感知调度，模型与硬件适配。
3. 模型侧：权重压缩、KV 缓存压缩（MLA、稀疏、Turbo Quant 等）。
4. 新架构（简要提及）。

跳过内容

• 训练效率、音频/实时流媒体、视频大 token 流、多节点分布式、多 LoRA 适配器服务。这些各有专门教程。

Transformer 架构回顾

来自《Attention is All You Need》论文的经典图，九年后仍然基本适用。以 Quinn 8B 为例：实际层数为 36（不是 32）。流程：token 输入 → 分词器 → token 嵌入（ID 转向量）→ Transformer 层（注意力 + 前馈 + 归一化）→ 输出。

Source: @smolix: Here’s part 1 (of 5) of my short course on efficient LLM inference that I taught at Columbia University.