标签
一个名为《Before GPU Engineering》的免费开源结构化数字笔记，包含 56 个章节，从零开始教授 GPU 架构和性能工程，涵盖 Warp、SIMT、内存层次结构、内核优化以及面向 AI/ML 工程师的性能分析等内容。
本文解释了GPU如何将计算工作组织为内核、网格、块和线程束，以实现大规模并行并通过流式多处理器隐藏内存延迟。
一份来自UC Berkeley EECS的技术报告，提供了GPU架构背景和设计的深入探索。
本文提出了针对CDNA 1/2/3架构的AMD GPU矩阵核心的精确软件模型，经硬件验证可实现位级可复现性，并展示了其在数值应用中的使用，以与NVIDIA张量核心比较精度。
本文提出FIBER，一种新型的GPU执行模型，通过解耦线程-寄存器所有权，实现动态并行和细粒度调度，在AI工作负载（如LLMs）的张量计算中取得显著性能提升。
本文以NVIDIA H100为例，阐明了GPU在AI推理中的性能受限于内存带宽而非算力，并解释了GPU架构及其对token生成速率的影响。
本文认为，在使用Ozaki Scheme II的情况下，FP8张量核心可以替代原生FP64硬件，用于像NVIDIA B300这样的AI优化GPU上的高性能科学计算，以更高的吞吐量实现完全的双精度精度。作者提出了张量-内存均衡模型，并表明在所有工作负载中，模拟的FP64性能可以比原生FP64高出数个数量级。
一条推文分享了一个涵盖14年、450篇论文的GPU优化结构化参考资料，指出虽然一些技术已经发展，但心智模型仍然有用。还提到了Onur Mutlu关于GPU架构的讲座。
Q.ANT 在奥斯汀设立了美国办事处，并任命 Bruno Spruth 为 CTO，突显其光子 GPU 在莱布尼茨超级计算中心已进入生产阶段，据称在性能和能效方面较传统晶体管芯片有显著提升。
Modal Labs 发布了一个开源的 GPU 术语词典，将零散的 NVIDIA 文档、CUDA 细节及编译器参数整合为单一的可导航资源，旨在帮助工程师优化 LLM 的训练与推理。
该讲座介绍了GPU架构作为SIMD（向量/数组）处理器的灵活演化，讨论了数据并行性、存储体分组、体冲突、串行瓶颈以及SIMD指令历史（如MMX），强调GPU如何利用数据并行性并应对串行瓶颈。