cuda-graphs

NVIDIA BioNeMo 推理运行时通过优化内核、CUDA Graphs 和 Ray 加速生物分子结构预测模型，实现高吞吐量，同时保持与 PyTorch 工作流程的集成。

对Ling-3.0-flash的基准测试显示，在多令牌预测中，更高的接受长度会降低文本吞吐量，其中n=1是所评估工作负载中最高效的设置。

分布式LLM推理框架ShardFlow通过推测解码与CUDA图缓解WAN延迟，在云区域间对Qwen2.5-7B实现28 TPS。

PyTorch Con 北美站的海报现已发布，展示了编译器优化、CUDA图、AI架构和强化学习等领域的研究。会议将于10月20-21日在加利福尼亚州圣何塞举行，并提供提前注册折扣。

SonicSampler 提出了一套统一的Tile感知Triton内核，垂直融合了整个LLM采样流水线，支持动态的逐请求行为和推测性验证，相较于最先进的基线实现了高达16倍的加速。

有关在LLM推理服务器Tokn中实现CUDA Graphs的详细教程，涵盖FastAPI服务器设置、引擎初始化以及用于优化解码阶段的CUDA Graph捕获。

本文研究了物理AI系统中批量1的LLM解码的性能差距，发现更快的内存带宽并没有按比例减少延迟，因为启动开销的存在，并且量化效率在不同硬件间差异显著。