Stanford University 2026 Fall 新课程 CME 295: Transformers & Large Language Models 开放报名（第二讲已发布）@stanfordnlp

本课程由双胞胎兄弟 @afshinea @shervinea 授课，在 9 讲中覆盖 LLM 的完整全景：从 Transformer 架构、注意力变体、RoPE，到 LoRA 微调、RLHF/GRPO 训练，再到 Flash Attention 推理优化、MCP 与 AI Agents、扩散语言模型。

第二讲包含 138 页讲义，在第一讲「Transformer 基础」的基础上，围绕一个核心问题展开：从最初的 Transformer 到 GPT 等现代大模型之间，到底发生了什么？整讲沿着五条主线展开：模型族谱 → 缩放法则 → 专家路由 → 架构优化 → 解码与提示策略。

讲义链接：https://cme295.stanford.edu/slides/fall26-cme295-lecture2.pdf

模型族谱：从 Transformer 做减法

• 仅编码器（BERT）：双向注意力编码语义，通过 MLM + NSP 预训练，必须微调后才能使用，不适合生成任务。
• 仅解码器（GPT）：因果注意力逐 token 自回归生成。几乎所有现代 LLM 都遵循这一形式（GPT、DeepSeek、Qwen、GLM、Kimi……）。

缩放法则：为什么追求更大

• Kaplan 2020：更大的模型 + 更多数据 → 性能可预期地提升，且大模型更具样本效率。
• Chinchilla 2022：在算力固定时，最优比例约为 20 个 token / 参数——从堆参数转向堆数据。

LLM 的定义：对 token 序列赋予概率，规模达 100 亿以上参数、数千亿 token 数据、大规模 GPU 集群。

MoE：大参数、高效算力

用多个专家 FFN 替换单个 FFN，门控机制每个 token 只激活 top-k 个专家。难点在于路由坍缩（总是选择同一专家），通过辅助负载均衡损失来解决。趋势：共享专家 + 细粒度专家。当前前沿开源模型的总参数量达 0.5T–1T，专家数量达数百个，但每个 token 仅激活约 6–8 个。

架构优化：四条正交的演进路线

• 位置编码：绝对编码 → 相对编码 → RoPE，关键在于 RoPE 对 q/k 进行旋转，内积只依赖相对距离，现已成为默认方案。
• 注意力：稠密 → 滑动窗口注意力（SWA），关键在于只关注邻居，类似 CNN 的感受野，多层堆叠后可扩大范围。
• KV Head：MHA → MQA → GQA，关键在于组内共享 K/V，精简 KV 缓存，现已成为主流。
• 归一化：Post-Norm + LayerNorm → Pre-Norm + RMSNorm，关键在于深层网络训练更稳定、计算更简洁，是现代标准。

解码策略

• 贪心解码：取概率最高的，局部最优 ≠ 全局最优；
• 束搜索：保留 k 条路径，开销大且仍缺乏创造力。

采样：top-k（取前 k 个）或 top-p（取累积概率达到 p 的自适应集合）；温度 T 调节分布的尖锐程度，低 T 适合事实性任务，高 T 适合多样性任务。即使 T=0，也难以实现完全确定性（浮点并行运算不满足结合律）。引导式解码：每一步屏蔽无效 token，确保输出格式有效（如 JSON）。

上下文与提示

• 规模：上下文 O(1M)，输出 O(100k)，边界正逐渐消融。
• 换算：1 页 ≈ 500 token，100k token ≈ 一本书。
• 上下文腐化：窗口越长 ≠ 用得越好，过长的输入会拖累性能。

三种提示范式（性能与成本同步上升）：少样本 ICL（给示例）→ 思维链 CoT（先推理再回答）→ 自洽性（多路径推理 + 投票）。

来源：https://cme295.stanford.edu/slides/fall26-cme295-lecture2.pdf