标签
本文介绍了一款开源GPU性能分析工具，它能以JSON格式提供性能指标数据，帮助AI代理自动完成针对vLLM、SGLang等基于CUDA的AI引擎的性能调优，无需人工进行手动轨迹分析。
此拉取请求为 llama.cpp 项目中的 CUDA/HIP 引入了 Flash Attention 调优优化，针对 gfx1201 硬件以提升推理性能。
作者正在实验用于PyTorch的自适应内存管理器，以防止8GB GPU上的CUDA内存溢出错误，分享代码并寻求社区反馈。
NVIDIA Cosmos3，一个64B参数的图像生成模型，发布了INT4量化版本，支持在CUDA和MLX上本地部署，代码和权重可用，并在Apple Silicon上展示了性能。
Cohere为North Mini Code引入了一个Megakernel服务引擎，通过优化自回归解码的内存带宽，在H100 GPU上实现了比vLLM快1.25倍至1.41倍的推理速度。
Paddock是一个开源的Rust/C++推理引擎，带有自定义CUDA内核，在基准测试中展示了与vLLM和SGLang相竞争的性能，同时支持OpenAI/Anthropic风格的API和GGUF/safetensors格式。
PyTorch 2.14版本引入了容错性作为c10d的一等概念，支持进程组的原地重配置，同时带来了NVGEMM内核、新的nccl2后端以及Apple Silicon的原生线性代数等特性。
DGX Spark中发现了一个bug，作者敦促NVIDIA确保它能无延迟地获取最新的CUDA更新。
PyTorch 2.14 引入了重大更新，包括在 Inductor 中使用 NVGEMM 处理 CUTLASS 内核，用于分布式计算的新 nccl2 后端，高级容错性，以及在 Apple Silicon 上的原生线性代数。
本文引入变异分析作为评估GPU内核基准测试预言机的指标，揭示了当前测试方法的局限性，并提出了针对LLM生成代码的更好故障检测的优化方案。
作者分享了使用CMP170矿卡构建的DIY CUDA设备设置，用于运行AI模型如Qwen Flash Next，实现了出色的推理性能。
一个GitHub仓库，提供结构化的100天LLM推理工程学习计划，涵盖从CUDA内核到自动扩展的主题，并配有可运行的脚本。
一位开发者分支了NInfer，这是一个C++20/CUDA推理引擎，添加了张量并行和YaRN绳索缩放，使得Qwen3.8-27B能够在双5090显卡上运行1M token上下文，并在特定解码场景中优于vLLM。
据《华尔街日报》报道，中国机器人以86%的占比主导全球人形机器人出货量，英伟达正将其类CUDA生态系统扩展至这一高度集中的机器人市场。
llama.cpp 的一个自适应 KV 缓存流式传输分支，使得在 16GB RTX 5070 Ti GPU 上运行 Qwen 3.8 27B 模型并支持 262K 上下文成为可能，通过在内存与显存间高效管理，实现了约 25 tok/s 的速度。
本文介绍了DataKernelBench，这是一个用于评估LLMs在优化GPU内核以处理数据库查询方面的基准测试，相比如torch.compile等基线方法实现了加速。
这是 NVIDIA 开放 GPU 内核模块的一个分支，它支持消费级 GeForce GPU（3090、4090、5090）之间的 PCIe 点对点通信，允许直接通过 PCIe 进行数据传输，从而显著提升多 GPU 性能。
讨论比较了CUDA与MLX在Apple的M5 Ultra Mac Studio背景下的成熟度，强调需要竞争来优化本地AI硬件，这可能使Apple超越NVIDIA。
本文提出了一种特征主码本布局，用于内存高效的稀疏二进制自组织映射，使得在单个GPU上训练多达105万神经元的大规模映射成为可能，并在MEDLINE数据上实现了显著的加速。
在 Hot Chips 2026 上，Nvidia 宣布了将 CUDA 支持扩展到 RISC-V CPU 的计划，概述了具体的硬件要求，如服务器级CPU、ACPI和PCIe一致性，以实现高效的GPU计算。