training-inference

博主分享 Jia-Bin Huang 制作的 9 集、230 分钟系列视频「AI Training and Inference」，系统覆盖基座模型训推架构：从 ZeRO/FSDP 显存优化、五维并行、LoRA 变体、投机解码、On-policy 蒸馏、GRPO 强化学习，到 AdamW/Muon 优化器及 LLM 服务。

PhantaField 推出 PFG-1 'Sophon' 单片三维AI ASIC，具备330GB片内DRAM和纯数字存内计算，消除了HBM，并可在训练和推理中提供高达4,200 TFLOPS的FP8性能，效率显著高于现有GPU。

本文概述了在 AWS 上进行基础模型训练和推理的架构构建模块，涵盖基础设施、资源编排、机器学习软件栈以及可观测性。