[Full Workshop] Reinforcement Learning, Kernels, Reasoning, Quantization & Agents — Daniel Han

### TL;DR Daniel Han 在 AI 工程师世界大会上分享了强化学习、微调、量化与智能体的实战经验，回顾了从 Llama 到 DeepSeek R1 的开源模型演进，并剖析了模型训练的几个关键阶段（预训练、中期训练、监督微调、后训练与 RLVR）。 ## 演讲团队与背景 Daniel 首先介绍自己与团队的工作：通过推特分享 AI 前沿动态，去年修复了梯度累积 bug，引入了异步卸载梯度检查点。他们还与 Hugging Face、Google、Meta、Mistral 等团队合作，修复 Gemma、Llama、Mixtral 等开源模型中的 bug，并贡献了 Llama CBP、Qwen、Mistral 等项目的代码。团队在 Hugging Face 上每月下载量突破 1000 万，GitHub 包获得 4 万星，核心目标是让微调更快、内存更少。他们还提供免费的 Colab 和 Kaggle 笔记本（利用 Google 免费 GPU 和 Kaggle 每周 30 小时 GPU），并上传经过修复的量化模型（如 1.58 比特 DC R10528），可在低 VRAM 设备上运行。 ## 开源模型的演进 ### 从 Llama 开始的历史 - **Llama 1**：Meta 最初仅作为研究论文发布，权重被泄露，催生了开源运动。Llama 1 只训练了 1.4 万亿 token（远少于现在模型 10 倍以上）。训练损失与模型规模的关系：模型越大损失越低（70B 蓝线、650B 红线）。微调时正常损失应在 2–3 左右。 - **当前规模**：Google Gemma 3 在 14 万亿 token 上训练，Llama 4 在 30 万亿 token 上训练，比 Llama 1 多 10–30 倍。 ### 开源 vs 闭源：两次“干旱” Daniel 引用 Maxime 的图，显示开源模型在 MMLU（5-shot）上斜率比闭源模型陡，最终在 Llama 3.1 405B 时达到 GPT-4 水平。但随后出现两次“干旱”： 1. **第一次干旱（2022.12）**：ChatGPT 发布，开源模型在指令遵循和 RLHF 上落后，直到 Llama 1 才逐渐赶上。 2. **第二次干旱（2024.9）**：o1 预览版引入推理链，能力跃升；开源社区四个月内无法复制，直到 DeepSeek R1 发布（2025.1）才打破僵局。 Daniel 认为，每次闭源模型都做出阶跃函数（SFT/RLHF 跳跃 → RL 跳跃），但下一次跳跃未知。Yann LeCun 的蛋糕图（无监督学习 → 监督微调 → 强化学习）虽然来自 2016 年，但至今仍是核心框架。 ## 基座模型与微调阶段 所有大型模型都从基座模型开始（如 ChatGPT 的基座模型从未公开），然后通过微调变成聊天模型。开源模型的命名规则不统一（如 Gemma 3 PT/IT、Llama 4 Instruct、Qwen 3 Base/无后缀），Daniel 呼吁标准化。 ### 现代训练阶段的划分 Daniel 提出一个更新后的阶段模型： - **预训练**：使用所有网页、维基等数据，预测下一个词。 - **中期训练**（Interm Training）：给高质量数据更高权重（如维基百科），也可扩展长上下文。 - **监督微调（SFT / 指令微调）**：将基座模型转换为聊天模型。 - **后训练**：偏好微调（DPO）、RLHF 等。 - **强化微调（RLVR）**：基于可验证奖励的强化学习（Reinforcement Learning with Verifiable Reward），不同于传统偏好微调，直接利用奖励函数改进模型。 他强调，模型的训练是从随机初始化权重开始，通过上述阶段逐步提升能力。 ## 结语与互动 Daniel 在演讲中鼓励听众提问，并承诺回答所有问题。他提醒受众利用免费 GPU 资源，持续关注团队发布的修复模型，因为模型 bug 可能影响 10% 的准确率。 --- *Source: [Full Workshop] Reinforcement Learning, Kernels, Reasoning, Quantization & Agents — Daniel Han* (https://www.youtube.com/watch?v=OkEGJ5G3foU)