@shao__meng: 9集、230分钟 @jbhuang0604 系列视频「AI Training and Inference」把基座模型训练和推理基础讲清楚了，覆盖整个训推架构：单卡显存 → 千卡并行 → 便宜微调 → 推理加速 → 小模型蒸馏 → 推理 R…

X AI KOLs Timeline 新闻
education training-inference distributed-training fine-tuning reinforcement-learning video-series

摘要

博主分享 Jia-Bin Huang 制作的 9 集、230 分钟系列视频「AI Training and Inference」，系统覆盖基座模型训推架构：从 ZeRO/FSDP 显存优化、五维并行、LoRA 变体、投机解码、On-policy 蒸馏、GRPO 强化学习，到 AdamW/Muon 优化器及 LLM 服务。

9集、230分钟 @jbhuang0604 系列视频「AI Training and Inference」把基座模型训练和推理基础讲清楚了，覆盖整个训推架构：单卡显存 → 千卡并行 → 便宜微调 → 推理加速 → 小模型蒸馏 → 推理 RL → 优化器（AdamW→Muon） 这个训推系列的串联逻辑 先解决「模型塞不进一张 GPU」，再用五维并行铺到万卡级；然后 LoRA 系把适配成本压下来；推理侧用投机解码在不改输出分布的前提下加速；能力压缩走 on-policy 蒸馏；推理能力用从 PPO 到 GRPO 的 RL 线；最后回到优化器基线与 Muon。服务侧（KV cache、调度等）放在最后第 9 集。 https://youtube.com/playlist?list=PLXrQ2OzD3YKA… 1. ZeRO & FSDP（约 23 分钟） 浮点与混合精度如何吃显存；数据并行会复制优化器状态与梯度。ZeRO-1/2 切优化器与梯度，ZeRO-3 再切权重；FSDP 是同一套分片日程在 PyTorch 里按模块落地。 2. 五维并行（约 40 分钟） 纯数据并行不够时，沿数据 / 张量 / 序列·上下文 / 流水线 / 专家切开。张量并行的行列切与 all-reduce；上下文并行与 ring attention；流水线从 GPipe、1F1B 到 zero-bubble / DualPipe；MoE 的 all-to-all；并以 Llama 3 的 16384 GPU 布局作示例，给出排并行的「小抄」三步。 3. LoRA 与变体（约 21 分钟） 冻住 W0W_0W0​，学低秩 ΔW=BA\Delta W=BAΔW=BA；初始化常用随机 A、零 B。LoRA+ 给 A/B 不同学习率；QLoRA 用 NF4 等把骨干量化、适配器仍高精度（字幕称可在单卡 48GB 上微调 70B 量级，为讲者表述）；VeRA 共享冻结随机基、只训缩放；DoRA 拆幅度与方向。 4. 投机解码（约 25 分钟） 小草稿模型往前猜，大模型并行验证；拒绝采样保证与目标模型同分布。再展开 draft tree、Medusa、MTP、EAGLE 系列与 DFlash / DFlash 2。 5. On-policy 蒸馏（约 31 分钟） 软标签与「暗知识」→ 序列级蒸馏；曝光偏差；on-policy RL 奖励稀疏。On-policy distillation：学生用自己的轨迹，仍拿教师的稠密指导；并强调 KL 方向；应用提到推理、个性化、数据复用与自蒸馏。 6. GRPO（约 23 分钟） 从 REINFORCE、baseline/价值、GAE、Actor-Critic、TRPO/PPO（尤其 clip）推到 GRPO：同一题采一组回答，组内归一化奖励当优势，整段共用优势、可不另训 value；相对参考策略加 KL。Dr. GRPO 去掉长度归一与标准差除法，减轻「对了就变短、难了优势被放大」等偏差。视频将其与 DeepSeek-R1 类推理训练挂钩。 7. AdamW（约 7 分钟） SGD → 动量 → RMSProp → Adam；Adam 把衰减和自适应步长缠在一起会伤泛化；AdamW 解耦 weight decay，成为长期默认。 8. Muon / MuonClip（约 18 分钟） 线性层动量矩阵近低秩，稀有方向更新弱；Muon 用 Newton–Schulz 等把动量矩阵正交化（讲者称相对 AdamW 算力效率约高一倍，为片中说法）。大规模时配合衰减与按矩阵尺寸调学习率；注意力 logit 爆炸用 QK-clip，MLA 场景延伸为 MuonClip。 9. LLM Serving（约 42 分钟） 会员内容，如果前面 8 集看完觉得有需要，朋友们自行学习。
查看原文
查看缓存全文

缓存时间: 2026/10/31 05:24

9集、230分钟 @jbhuang0604 系列视频「AI Training and Inference」把基座模型训练和推理基础讲清楚了，覆盖整个训推架构：单卡显存 → 千卡并行 → 便宜微调 → 推理加速 → 小模型蒸馏 → 推理 RL → 优化器（AdamW→Muon）

这个训推系列的串联逻辑 先解决「模型塞不进一张 GPU」，再用五维并行铺到万卡级；然后 LoRA 系把适配成本压下来；推理侧用投机解码在不改输出分布的前提下加速；能力压缩走 on-policy 蒸馏；推理能力用从 PPO 到 GRPO 的 RL 线；最后回到优化器基线与 Muon。服务侧（KV cache、调度等）放在最后第 9 集。 https://youtube.com/playlist?list=PLXrQ2OzD3YKA…

  1. ZeRO & FSDP（约 23 分钟） 浮点与混合精度如何吃显存；数据并行会复制优化器状态与梯度。ZeRO-1/2 切优化器与梯度，ZeRO-3 再切权重；FSDP 是同一套分片日程在 PyTorch 里按模块落地。

  2. 五维并行（约 40 分钟） 纯数据并行不够时，沿数据 / 张量 / 序列·上下文 / 流水线 / 专家切开。张量并行的行列切与 all-reduce；上下文并行与 ring attention；流水线从 GPipe、1F1B 到 zero-bubble / DualPipe；MoE 的 all-to-all；并以 Llama 3 的 16384 GPU 布局作示例，给出排并行的「小抄」三步。

  3. LoRA 与变体（约 21 分钟） 冻住 W0W_0W0​，学低秩 ΔW=BA\Delta W=BAΔW=BA；初始化常用随机 A、零 B。LoRA+ 给 A/B 不同学习率；QLoRA 用 NF4 等把骨干量化、适配器仍高精度（字幕称可在单卡 48GB 上微调 70B 量级，为讲者表述）；VeRA 共享冻结随机基、只训缩放；DoRA 拆幅度与方向。

  4. 投机解码（约 25 分钟） 小草稿模型往前猜，大模型并行验证；拒绝采样保证与目标模型同分布。再展开 draft tree、Medusa、MTP、EAGLE 系列与 DFlash / DFlash 2。

  5. On-policy 蒸馏（约 31 分钟） 软标签与「暗知识」→ 序列级蒸馏；曝光偏差；on-policy RL 奖励稀疏。On-policy distillation：学生用自己的轨迹，仍拿教师的稠密指导；并强调 KL 方向；应用提到推理、个性化、数据复用与自蒸馏。

  6. GRPO（约 23 分钟） 从 REINFORCE、baseline/价值、GAE、Actor-Critic、TRPO/PPO（尤其 clip）推到 GRPO：同一题采一组回答，组内归一化奖励当优势，整段共用优势、可不另训 value；相对参考策略加 KL。Dr. GRPO 去掉长度归一与标准差除法，减轻「对了就变短、难了优势被放大」等偏差。视频将其与 DeepSeek-R1 类推理训练挂钩。

  7. AdamW（约 7 分钟） SGD → 动量 → RMSProp → Adam；Adam 把衰减和自适应步长缠在一起会伤泛化；AdamW 解耦 weight decay，成为长期默认。

  8. Muon / MuonClip（约 18 分钟） 线性层动量矩阵近低秩，稀有方向更新弱；Muon 用 Newton–Schulz 等把动量矩阵正交化（讲者称相对 AdamW 算力效率约高一倍，为片中说法）。大规模时配合衰减与按矩阵尺寸调学习率；注意力 logit 爆炸用 QK-clip，MLA 场景延伸为 MuonClip。

  9. LLM Serving（约 42 分钟） 会员内容，如果前面 8 集看完觉得有需要，朋友们自行学习。

@shao__meng: 9集、230分钟 @jbhuang0604 系列视频「AI Training and Inference」把基座模型训练和推理基础讲清楚了，覆盖整个训推架构：单卡显存 → 千卡并行 → 便宜微调 → 推理加速 → 小模型蒸馏 → 推理 R…

Channel: @shao__meng Source: https://www.youtube.com/playlist?list=PLXrQ2OzD3YKA

Jia-Bin Huang (@jbhuang0604): I’m building a playlist/course for LLM training and inference (WIP). https://t.co/0JdUqjiiQm

So far, we have common topics like distributed training, fine-tuning, RL, OPD, serving, spec. decoding, and basic optimizers.

What else should I include to make this more complete? 🤔

相似文章

@antiAIvo: https://x.com/antiAIvo/status/2112187842919268835

X AI KOLs Timeline

一张面向中文读者的大模型学习地铁图：以 Transformer→GPT-2→预训练→ChatGPT→LLaMA→MoE→推理模型为主干，并分出推理、训练、对齐、架构、应用五条支线，强调亲手实现 GPT-2 作为理解所有后续模型的锚点。

@Etudecn: IBM Technology 频道的技术专家和主讲人Martin 通过这个视频把 AI 圈七个最烧脑的词讲透了。 智能体、大型推理模型、向量数据库。 RAG 到底怎么让模型更准。 MCP 协议为啥能统一外部工具。 还有 MoE 架构为啥这…

X AI KOLs Timeline

IBM Technology 频道的专家 Martin 通过视频深入浅出地讲解了 AI 圈七个关键概念：智能体、大型推理模型、向量数据库、RAG、MCP 协议、MoE 架构以及人工超智能，被认为是今年最干的 AI 概念科普。