如果你想在推理工程方面变得非常出色，这个资源库是绝佳宝矿：https://github.com/elizabetht/100-days-of-inference…

elizabetht/100-days-of-inference

来源：https://github.com/elizabetht/100-days-of-inference

100天LLM推理实践

这是一套结构化的推理工程深度学习体系——涵盖从CUDA内核到多云自动扩展的全部内容——基于菲利普·基利（Philip Kiely）所著《推理工程 (https://www.baseten.co/library/inference-engineering/)》（Baseten Books, 2026）构建。

每个条目都是可运行的脚本。所有实验都在配备两台NVIDIA DGX Spark的本地集群上运行。

何为推理工程？

“要做好推理，需关注三个层面：运行时、基础设施与工具链。” — 菲利普·基利，《推理工程》

推理工程是关于在生产环境中部署生成式AI模型的学科——目标是更快、更经济、更可靠。它贯穿从CUDA内存布局到Kubernetes自动扩展策略的完整技术栈。本学习挑战系统性地覆盖所有三个层面。

实践计划

第一阶段 — 运行时：单实例优化

充分榨取单块GPU的性能。这是大多数效益产生的关键。

第二阶段 — 基础设施：跨集群扩展

充分利用跨云和跨区域的多GPU资源。

第三阶段 — 工具链：提升生产力与可观测性

使上述两个层面具备可调试性的监控层。

第四阶段 — 深入实践：从零构建

书本解释了概念，现在动手实现它们。

第五阶段 — 生产系统：从Notebook到集群

投入生产。

第六阶段 — 多模态：超越文本

本书涵盖视觉、音频与视频。推理工程适用于所有这些领域。

第七阶段 — 高级技术

前沿的推理研究，转化为实用方案。

第八阶段 — 毕业设计：生产级推理栈

构建真实应用。

环境准备

硬件： 两台NVIDIA DGX Spark (spark-01: 192.168.1.76, spark-02: 192.168.1.77)

每个Notebook都是独立的。 可独立运行任何主题：

``bash ssh [email protected] cd ~/src/github.com/elizabetht/100-days-of-inference/dayNN jupyter notebook

**使用Claude Code技能生成Notebook：**

``bash
/learn-inference-eng next        # 生成下一个notebook
/learn-inference-eng 7           # 跳转到主题07：vLLM
/learn-inference-eng quantization # 模糊匹配到主题11

进度

参考资料

• 书籍： 《推理工程》— 菲利普·基利 (Baseten Books, 2026)
• 集群： spark-01 192.168.1.76 · spark-02 192.168.1.77
• 开始日期： 2026-03-31