@natolambert: 又一场快速讲座——很多人多次问过我关于我书籍的前置知识和应该了解的内容，所以我制作了一个小讲座…

X AI KOLs Timeline 新闻
lecture course-prerequisites language-models training probability education natolambert

摘要

Nathan Lambert 分享了一段视频讲座，涵盖了他书籍的前置知识，包括语言模型基础、概率和训练流程，使用 GLM 5.2 进行讲解。

又一场快速讲座——很多人多次问过我关于我书籍的前置知识和应该了解的内容，所以我使用 GLM 5.2 制作了一个小讲座，涵盖一些更基础的知识。 主题包括： 00:00 引言与课程前置要求 01:37 语言模型概述 02:47 LM 头 04:29 Softmax 与对数概率 06:13 LM 训练样例的解剖 06:37 计算 LLM 概率（+Phoebe the Dog） 09:52 后训练中的三种常见掩码 11:03 小小解码回顾 12:14 训练 LM：交叉熵 13:23 优化与微调 13:55 预训练到中训练再到 SFT 的流程 15:25 概率基础：KL 散度与熵 19:36 Sigmoid 与成对似然 20:29 强化学习框架（MDP） 22:28 将工具过渡到后训练 23:12 推荐资源与总结  祝学习愉快，我仍在收集课程期间的问题，用于问答视频。
查看原文
查看缓存全文

缓存时间: 2026/06/25 09:15

又一场快速讲座——很多人问过我关于我这本书的前置知识及需要了解的内容，所以用GLM 5.2做了一场小讲座，覆盖一些更基础的知识。

主题包括：

00:00 引言与课程前置知识
01:37 语言模型概述
02:47 LM头（语言模型头部）
04:29 Softmax与对数概率
06:13 LM训练样本剖析
06:37 计算LLM概率（+小狗Phoebe）
09:52 训练后阶段的三种常见掩码
11:03 小解码回顾
12:14 训练LM：交叉熵
13:23 优化与微调
13:55 预训练到中间训练再到SFT的流程
15:25 概率基础：KL散度与熵
19:36 Sigmoid与成对似然
20:29 强化学习框架（MDP）
22:28 将工具过渡到训练后阶段
23:12 推荐资源与总结


祝学习愉快，我仍在收集课程期间的提问，用于制作问答视频。

相似文章