哈佛大学上线了我所见过的最优秀的免费AI系统课程之一。

CS249r远不止探讨模型架构，它深入到决定模型能否高效训练与部署的工程细节：处理器、内存层级、数据传输、加速器、分布式计算、推理、量化、服务、可靠性及部署。

其内容远不止一本教材那么简单。

课程材料包含两部开源机器学习系统专著、从零构建ML框架的TinyTorch实践、交互式浏览器实验室、用于软硬件瓶颈分析的MLSys·im工具、系统实践项目StaffML，以及授课使用的全套幻灯片。

仅TinyTorch就包含20个渐进式模块。实验室环境允许你调整系统参数，直观观察瓶颈变化——而非仅停留在理论认知。

这正是掌握神经网络与Transformer基础后，应当深入学习的材料。

理解注意力机制固然重要，但知道KV缓存为何消耗内存、推理何时受限于带宽、批处理如何提升吞吐量、增加GPU为何最终会遇到扩展瓶颈，则是另一种关键技能体系。

所有资源详见：https://mlsysbook.ai GitHub仓库：https://github.com/harvard-edge/cs249r_book…

机器学习系统

来源：https://mlsysbook.ai/ 两卷本教材

机器学习系统

AI工程的物理本质

从单机到集群级基础设施，严谨系统地阐释机器学习系统的构建、优化与部署原理——这是一本以第一性原理为纲的著作。

哈佛大学·麻省理工出版社 2026年

持续维护｜最后更新于2026年9月｜版本说明（https://github.com/harvard-edge/cs249r_book/releases）

面向学生与学习者

探索### 实验室互动式Marimo笔记本。调整参数，观察系统变化，构建直觉认知。实验17·集群综合探索（https://mlsysbook.ai/labs/） 构建### TinyTorch从零搭建你的机器学习框架，通过20个渐进模块，揭开底层奥秘。tinytorch——tensor.py类Tensor：def init(self, data)：self.data = data，self.grad = 0.0，self._backward = lambda: None（https://mlsysbook.ai/tinytorch/） 建模### MLSys·im第一性原理性能建模。一键定位所有瓶颈。$ mlsysimeval Llama3_70B H100 –batch-size 1 mem-bound compute-bound b=1 b=32 b=128 算术强度 FLOP/s（https://mlsysbook.ai/mlsysim/） 部署### 硬件套件将ML部署至Arduino、Seeed、Grove和Raspberry Pi。真实的内存限制，真实的功耗预算。Arduino·Seeed·Grove·Raspberry Pi（https://mlsysbook.ai/kits/）

面向职业发展与教育工作者

实践### StaffML基于物理原理的ML系统岗位面试题库。包含知识库、练习题与模拟面试。系统设计L5·Staff 级别：一个70B模型需要支撑1000请求/秒。请阐述你的硬件选型与并行化策略。硬件并行性权衡 云端·边缘·移动·TinyML（https://mlsysbook.ai/staffml/） 采用### 教师中心AI工程蓝图：两学期课程大纲、教学法指南、评分标准与助教手册。蓝图——课程架构机器学习系统·双学期课程 第一学期：基础（16周·第一卷·8项作业）第二学期：规模化（16周·第二卷·顶点项目）评估体系评分标准·同行评审·评分体系教学团队教学法·助教手册已就绪（https://mlsysbook.ai/instructors/） 教学### 讲义幻灯片35份Beamer演示文稿，附演讲者注释与281幅原创SVG图示。即取即用。导论系统DNN训练加速部署伦理 ML系统的铁律 T = D/BW + O/(R·η) + L 数据项——内存带宽 计算项——利用率η≤0.7 延迟项——编排开销 哈佛大学·机器学习系统 12/38（https://mlsysbook.ai/slides/） 关注### 新闻通讯课程动态、新章节发布及社区建设进展。MLSysBook周刊第4期：新增第二卷第7章——容错机制 更新：TinyTorch模块20 社区贡献：合并1,200+个拉取请求 里程碑：28,000+ GitHub星标 加入1,100+订阅者（https://mlsysbook.ai/newsletter/）

我们的使命

AI教育应免费且开放给所有人。

人人皆称AI为新电力——但若无工程师构建电网，电力便无用武之地。要使AI高效、可靠且安全，世界需要懂得如何构建它的工程师。

这些知识理应让任何愿意学习的人触手可及。本课程体系正是我们对此的承诺。

实时读者数据——月均32,393位读者，覆盖210个国家和地区 主要读者分布：美国·印度·新加坡·中国·越南 367,520位读者 210个国家/地区 月均32,393次访问 我们的目标：到2030年培养100万名AI工程师

GitHub星标28,126（https://github.com/harvard-edge/cs249r_book） 每颗星标都能帮助更多工程师发现本书。我们的赞助商与合作伙伴（https://mlsysbook.ai/community/partners.html）让它对所有人保持免费。