@akshay_pachaar：GPU架构详解。普遍的假设是，更快的GPU意味着更强的计算能力，所以一款每秒能执行更多操作的芯片应该每秒能生成更多token……

GPU架构详解。常见的假设是更快的GPU意味着更强的算力，因此额定每秒执行更多操作的芯片应该能生成更多tokens/秒。但这个假设很少成立。你可以租用顶级芯片，加载模型，看着利用率居高不下，却仍然只能从理论上能执行千万亿次运算的硬件上获得每秒几十个tokens。算术单元并非瓶颈——它们大部分时间都在等待数据到来。内存带宽决定了数据能以多快的速度送达，而随着每一代硬件更新，内存带宽的增长速度远慢于算术能力。以H100为例：它在16位精度下可执行989万亿次运算/秒，而其内存传输速率为3.35万亿字节/秒。将前者除以后者，得到约295。这意味着芯片每获取一个字节的数据需要执行约295次运算，才能让算术单元保持忙碌。而生成一个token所需运算量远低于此：每个权重值需与一个数字相乘并累加到总和中，即每个权重对应2次运算，且在16位精度下读取每个权重需要消耗2字节内存。这相当于每个字节仅对应1次运算，比芯片所需算力低约300倍。理解这一点后，GPU的布局设计就不再显得随意——所有设计都围绕数据距离组织，因为每次获取数据的旅程都是昂贵的开销。

执行分为四个嵌套层级（从小到大）： → 线程（Thread）：最小工作单元，处理少量私有数据。 → 线程束（Warp）：32个线程同步执行同一指令的组合，是硬件实际调度的单位。 → 线程块（Thread Block）：最多32个线程束（1024个线程）的批次，分配给一个计算单元并持续到完成。 → 流式多处理器（SM）：包含独立算术单元、存储和调度器的自包含计算模块。H100拥有最多132个SM。

内存层级同样嵌套分布，这是决定性能的关键： → 寄存器：每个SM拥有256KB，按线程划分私有区域。此处数据已邻近处理单元，读取开销可忽略。 → 共享内存与L1缓存：每个SM拥有数百KB。共享内存是唯一由用户显式放置数据的层级，线程块内所有线程均可访问。 → L2缓存：约50MB，位于所有SM下方，是所有SM可见的第一级缓存。访问它意味着离开当前SM。 → 高带宽内存（HBM）：约80GB容量，存储模型权重、KV缓存和激活值。它完全独立于处理芯片，访问HBM是GPU最慢的操作。

这种嵌套结构带来了速度优势：任何保持在单一SM内的操作都极快（无需外部访问），而需要全局协调的操作则需承担跨层访问的代价。将所有SM的寄存器容量相加，其总量与下方的L2缓存相当——这与CPU上规整的金字塔式缓存结构截然不同。因此，提升GPU性能的关键在于尽可能减少HBM访问次数。FlashAttention就是最典型的案例：普通注意力机制会将大量中间结果写入HBM再读回，而分块算法将其保留在SM中执行，以相同运算量实现显著加速。

我已撰写完整解析：从上述布局到决定token生成速率的计算比例。下文引用该文章。同时我为工程师整理了为期10周、每日30分钟的实践路线图，指导如何真正将LLM推理部署于生产环境（而非纸上谈兵）。请查看：https://github.com/patchy631/time-to-first-token… （别忘了点星标）

持续关注更多内容！

适用对象

需熟悉Python、Transformer架构及命令行操作，无需具备服务部署、Kubernetes或CUDA经验。若已掌握某些主题，可压缩标有快速浏览的课程，但构建类课程必须完整学习。

最终收获

• 自主配置、监控与调优的推理服务栈
• 展示TTFT、token间延迟、吞吐量、队列深度及单请求成本的Grafana仪表盘
• 可复现的1000+并发请求压力测试工具
• FP16、FP8、INT4、推测解码及KV缓存驱逐的基准对比
• 支持单请求token预算的成本/延迟/质量路由系统
• 包含版本锁定与复现命令的基准测试报告

时间投入

缓冲日用于追赶进度，不会压缩新内容。

环境配置

GPU获取

7-8B模型约需单张24GB显卡，建议按小时租用并在课程间隙关闭实例。

第1周全部、第3周大部分、第6周讲座日及第9周阅读无需GPU。请根据构建课程安排租用计划。仅需在两次课程使用H100：第5周的1000并发测试，以及第8周的实际分离架构实验。

工具安装

pip install vllm
pip install guidellm
pip install sglang

另需Docker用于Prometheus与Grafana栈，以及第8周使用的kind或小型托管集群。

第一周：建立心智模型

重点：安装核心模型，理解屋顶线模型、算术强度，以及解码/预填充阶段的内存/计算瓶颈差异。 形式：以视频为主，屋顶线推导适合实时演示。 产出：手推目标模型的算术强度值，能说明带宽瓶颈成因。

第三周：度量基础设施

重点：在优化前建立观测体系，本周成果是后续工作的可读性基础。 形式：以文本为主，基准测试方法论的文字资料优于现有视频。 产出：实时Grafana仪表盘，展示TTFT、token间延迟、吞吐量及队列深度。

第五周：千级并发压力测试

重点：构建可复现测试框架，理解基准测试可信度的构建要素。 形式：仅提供文档与实操指南。 产出：可执行的千级并发扫描脚本，输出p50/p95/p99指标，经两种独立工具交叉验证。