@DanKornas：不要通过零散的教程学习 LLM。LLM from Scratch 是一个面向开发者的实践性 PyTorch 课程，适合那些想要……

X AI KOLs Timeline 工具
open-source pytorch llm curriculum training fine-tuning alignment

摘要

一个实践性 PyTorch 课程，教授从 Transformer 基础到微调和对齐的 LLM 训练，包括 RLHF 和 GRPO。

不要通过零散的教程学习 LLM。 LLM from Scratch 是一个面向开发者的实践性 PyTorch 课程，帮助他们理解 LLM 的训练、现代化和对齐过程。 它通过系统化地组织从 Transformer 基础到小模型训练、扩展、微调、奖励建模以及 RLHF 的路径，帮助你从概念走向实现。 主要特点： • 端到端课程 – 从基础到 RLHF，涵盖预训练 → 微调 → 对齐 • 从第一性原理理解 Transformer – 涵盖位置嵌入、自注意力、注意力头、MLP、残差连接、LayerNorm 以及完整块 • 小型 LLM 训练循环 – 包括分词、批处理、交叉熵、采样、验证损失以及无 Trainer 的训练循环 • 现代架构升级 – 详述 RMSNorm、RoPE、SwiGLU、KV 缓存、滑动窗口注意力以及流式缓存概念 • 包含对齐路径 – 覆盖 SFT、奖励建模、PPO 风格的 RLHF 以及 GRPO，并附有具体的训练循环笔记 它是开源项目（GPL-3.0 许可证）。 链接在回复中
查看原文
查看缓存全文

缓存时间: 2026/06/03 07:47

别再从碎片化的教程中学习LLM了。

LLM from Scratch 是一套基于 PyTorch 的实践课程，专为想理解 LLM 如何训练、现代化和对齐的构建者设计。

它通过组织从 Transformer 基础到小模型训练、扩展、微调、奖励建模和 RLHF 的路径，帮助你将概念转化为实现。

核心特点：

• 端到端课程 – 遵循预训练 → 微调 → 对齐的路径，从基础到 RLHF • Transformer 第一性原理 – 涵盖位置编码、自注意力、注意力头、MLP、残差、LayerNorm 和完整块 • 小 LLM 训练循环 – 包含分词、批处理、交叉熵、采样、验证损失和无 Trainer 的训练循环 • 现代架构升级 – 讲解 RMSNorm、RoPE、SwiGLU、KV 缓存、滑动窗口注意力和流式缓存思路 • 包含对齐路径 – 涵盖 SFT、奖励建模、PPO 风格的 RLHF 和 GRPO，并附有具体的训练循环笔记

该课程是开源的（GPL-3.0 许可证）。

链接在回复中。

相似文章