cuda-graphs

PyTorch Con 北美站的海报现已发布，展示了编译器优化、CUDA图、AI架构和强化学习等领域的研究。会议将于10月20-21日在加利福尼亚州圣何塞举行，并提供提前注册折扣。

SonicSampler 提出了一套统一的Tile感知Triton内核，垂直融合了整个LLM采样流水线，支持动态的逐请求行为和推测性验证，相较于最先进的基线实现了高达16倍的加速。

有关在LLM推理服务器Tokn中实现CUDA Graphs的详细教程，涵盖FastAPI服务器设置、引擎初始化以及用于优化解码阶段的CUDA Graph捕获。

本文研究了物理AI系统中批量1的LLM解码的性能差距，发现更快的内存带宽并没有按比例减少延迟，因为启动开销的存在，并且量化效率在不同硬件间差异显著。