标签
本文深入解读NVIDIA最新发布的《AI Model Co-Design》文章，指出在AI推理场景中，存储（内存带宽、权重读取）已取代GPU算力成为主要瓶颈，并阐述了TensorRT-LLM和Blackwell架构围绕Roofline模型的设计策略，强调减少数据移动比提升计算能力更为关键。
一位开发了NVIDIA现用于TensorRT-LLM的内核的CMU博士讲解了快速注意力，内容涵盖融合CUDA内核、FlashInfer、Triton和分页KV注意力，使同一GPU每秒能处理更多token。
一份关于学习AI推理引擎内部机制的详细指南，涵盖vLLM和SGLang等服务引擎、使用Triton和CUTLASS的低层GPU内核编程，以及一系列旨在培养实践能力的小型项目。
本文介绍了 Ada-MK，一种利用自动化基于有向无环图（DAG）的搜索来消除运行时分支并减少大语言模型（LLM）推理共享内存使用的自适应 MegaKernel 优化方法。通过集成到 TensorRT-LLM 中，该方法在 NVIDIA Ada GPU 上展示了显著的吞吐量提升，在商业广告系统中相比原生 TensorRT-LLM 性能最高提升 23.6%。
一个开发者工具包，提供在使用 TensorRT-LLM 通过 Nvidia Blackwell GPU 以 NVFP4 精度运行大型语言模型时的配置、预编译包（wheels）及基准测试数据。