@akshay_pachaar: LLM工程师手册（每天30分钟，10周，50课）一个面向LLM推理服务的路线图，一切都指向一个服务，而不是分散在多个演示中。

《LLM工程师手册》（每天30分钟，10周，50课）——一份LLM推理服务的学习路线图，所有内容都指向一个统一的服务架构，而非分散的示例演示。你将先建立心智模型，然后部署模型、进行检测、在1000并发请求下进行负载测试，最后进行调优。最终你将获得自己配置的技术栈和值得发表的基准测试结果。以下是内容涵盖范围：

→ 屋顶模型及其原理：为何解码依赖内存而预填充依赖计算
→ vLLM内部机制：分页注意力调度器与代码级解读
→ 使用Prometheus与Grafana监控首token延迟（TTFT）、token间延迟及队列深度
→ SGLang与RadixAttention前缀复用机制：与vLLM的基准测试对比
→ 超1000并发请求的负载测试方案
→ 跨FP16、FP8、INT4的量化技术：兼顾质量与速度
→ 投机解码与KV缓存淘汰策略：及其收益消失的边界条件
→ 在Kubernetes上部署预填充与解码的分离式架构
→ 集成成本、延迟与质量感知路由及按请求token预算控制
→ 发布可复现的基准测试报告

路线图已发布至GitHub：https://github.com/patchy631/time-to-first-token…（别忘了点星标）

我正在为每个核心主题撰写配套文章，首篇关于GPU工作原理的文章已发布，全文转载如下：

适用人群

需熟悉Python、Transformer架构原理及命令行操作。无需服务端部署、Kubernetes或CUDA经验。若已掌握某主题，标为快速浏览的课时可压缩学习，但切勿跳过动手构建环节。

最终成果

• 自行配置、监控与调优的完整服务栈
• 展示TTFT、token间延迟、吞吐量、队列深度及单请求成本的Grafana仪表盘
• 可复现的1000+并发压力测试工具链
• 跨FP16、FP8、INT4、投机解码及KV淘汰策略的基准测试对比
• 集成成本/延迟/质量感知路由与token预算控制机制
• 附版本锁定与复现命令的基准测试报告

时间投入

缓冲日用于进度补全，不涉及新内容。

环境准备

GPU获取

7-8B模型需约24GB显卡，按时租用并在课时关闭实例。

第1周全周、第3周多数课时、第6周理论日、第9周阅读均无需GPU。集中在构建日租用。H100仅用于第5周1000并发测试与第8周分离式部署（实际运行时）。

工具安装

pip install vllm  
pip install guidellm  
pip install sglang  

另需Docker部署Prometheus/Grafana，第8周需要kind或小型托管集群。

第一周：心智模型

核心目标：安装后续所有实验依赖的基础模型，掌握屋顶模型、算力强度及“解码依赖内存/预填充依赖计算”的原理。
教学形式：以视频为主，屋顶模型推导适合实时演示。
交付物：手动推导目标模型的算力强度指标，并能明确判断各阶段瓶颈。

第三周：度量基础设施

核心目标：在优化前建立观测体系，所有后续课时依赖本周成果。
教学形式：以文本材料为主，基准测试方法论视频质量参差。
交付物：实时Grafana仪表盘，展示自有服务的TTFT、token间延迟、吞吐量与队列深度。

第五周：1000并发压力测试

核心目标：在无需辩护时掌握可复现基准测试方法论。
教学形式：文档与实操为主。
交付物：1000+并发脚本化压力测试，输出p50/p95/p99指标，双工具交叉验证。

第七周：投机解码与KV淘汰

核心目标：掌握在内存带宽受限模型中节省内存读取的两种策略。
教学形式：理论推导配合代码级验证。
交付物：投机解码性能收益分析 + KV淘汰策略的适用场景文档。

第九周：成本/延迟/质量路由

核心目标：将经济性指标集成到推理系统。
教学形式：路由算法设计结合实时监控。
交付物：按请求token预算控制的智能路由器 + 多模型负载分配策略。

关键提醒：每课时的“构建”环节是知识内化的核心，压缩阅读可，压缩实践不可。完整仓库请访问GitHub项目页。