cuda

OpenBMB 的 ForgeKernel 智能体历时 22 小时，以 NVIDIA 的 FlashMLA 黑盒基线为参照，自主优化了一个 GPU 内核，在 B200 上实现了 9.8% 的性能提升，并将开源 27 个优化后的算子及 ForgeKernel 框架。

AMD 正投入大量工程和算力资源向 vLLM 倾斜，以绕开 NVIDIA 的 CUDA 护城河，推动推理软件标准化、摆脱特定硬件绑定，从而让整个生态受益但双方回报不对称。

Berth 是一款基于 Go 的轻量级 GPU 资源管理器，可让 llama.cpp 和 ComfyUI 等 CUDA 工作负载通过租约、优先级和队列共享显存，并提供模型暂存、CUDA 检查点保存以及兼容 OpenAI 的网关。它目前处于 Alpha 阶段（v0.4.1），支持 Linux 上的 NVIDIA GPU，并提供对 AMD GPU 和 Windows 的实验性支持。

qwenGPU 是 Qwen3.5-2B 的一个实验性变体，在其权重中嵌入了一个 SIMT GPU，使用 Gated DeltaNet 层作为寄存器/内存，并在前向传播过程中运行真正的 CUDA 内核。

一个名为《Before GPU Engineering》的免费开源结构化数字笔记，包含 56 个章节，从零开始教授 GPU 架构和性能工程，涵盖 Warp、SIMT、内存层次结构、内核优化以及面向 AI/ML 工程师的性能分析等内容。

作者发布了 Betelgeuse（bel-cli / bel-server），一个 llama.cpp 分叉，通过 VRAM 槽位池、CUDA 门铃内核和 io_uring 分页器，在 RTX 3060 12GB + 16GB DDR4 上以 100% 位精确方式将 Qwen 3.8 Flash Next（68GB MoE）的推理速度从 1.47 tok/s 提升到 22 tok/s（峰值 48 tok/s）。

NInfer v0.3.0 是一个用于在魔改 22 GB RTX 2080 Ti 上运行 Qwen3.6/8-27B 的推理引擎，新增了 Windows 原生支持和预编译发布版本，将二进制文件压缩至 0.28 GB，配合 MTP 投机解码最高可达 47.5 tok/s 的解码速度。

OpenJet 的新版本在单张 RTX 3090 上通过自定义 CUDA megakernel 引擎并行服务最多 4 个编码代理，总吞吐达约 290 tok/s，是 llama-server --parallel 的 3-4 倍。核心思路是每步将所有活跃代理的工作堆叠成一个批处理，权重只读一次并用张量核同时处理所有行。

GPU 内核工程系列课程第 1 讲的实用笔记，涵盖 CUDA 13 对 GPU 计算能力的最低要求、驱动程序／工具包／PyTorch 运行时之间的区别、异步 GPU 计时的常见陷阱，以及如何修复 Nsight Compute 的 ERR_NVGPUCTRPERM 性能分析计数器权限错误。

据报道，一个 Linux 内核模块黑客手段在 NVIDIA RTX 3090 显卡上实现了快 1.9 倍的 BF16 张量运算，将 BF16 TFLOPS 从 82 提升到 155，并提高了 cuBLAS GEMM 性能——因为 NVIDIA 出厂时这些显卡的张量运算采用 fp32 累加，运行速度只有一半。

Arch Linux 软件包维护者 Josie 记录了在仅官方支持 Windows 的 ASUS ProArt P16 RTX Spark 笔记本（128 GB 内存、NVIDIA N1X GPU）上运行 Arch Linux ARM 的过程，并在 GitHub 上发布了可启动 USB 安装方案，包括构建脚本、ACPI 补丁和内核修复。

一位用户报告称，在 Linux 下运行本地 LLM 时，RTX 5090 笔记本 GPU 会因 NVIDIA Xid 8 错误而挂起。问题指向一个 llama.cpp 的 issue，其中禁用 CUDA graphs（GGML_CUDA_DISABLE_GRAPHS=1）作为变通方案，但会严重降低性能，目前尚无修复方案。

作者发布了一个免费、代码优先的 GPU 内核工程系列课程（共 44 节）的介绍与路线图视频，从朴素 GEMM 讲到 FlashAttention，覆盖 Hopper 与 Blackwell 架构，并以 roofline 模型和数据移动为核心教学理念。

一个共44节课的免费「GPU Kernel Engineering」系列课程发布，从CPU并行计算与CUDA基础出发，逐步深入内存优化、GEMM、Tensor Cores、Flash Attention，直至H100/Blackwell等前沿硬件与AI编写的kernel。

Stealthium 介绍了 Rank-One Model Editing（ROME）攻击——恶意 Python 模块可以在不触及磁盘的情况下改写 GPU 内存中的模型权重，并展示了其运行时传感器如何通过追踪 CUDA 内核调用与 Python 调用栈来检测此类篡改。

斯坦福 CS336（2026 春）第 6 讲的笔记，讲解如何通过减少 GPU 内存往返来优化内核：对比 softmax 多次遍历与融合行内核的内存流量，介绍 Triton 的块级编程模型，并强调先用 CUDA event 测量基线、再做内核融合与分块优化。

PyTorch 联合主席 Chris Hoge（NVIDIA）推荐了 PyTorchCon 北美 2026 的五场重点演讲，涵盖 PyTorch 生态系统 Landscape、MoE 专家并行通信、动态形状 CUDA 图、Symmetric Memory 融合内核以及数据加载器扩展等内容。

llama.cpp 的 CUDA 后端发布了一个 GitHub 拉取请求（#30517），旨在加速面向低比特类型（low-bit types）的 MMVQ（矩阵-向量量化乘积）运算。其目标是提升量化模型在 GPU 上的推理性能。

介绍 SentryWard：一个开源的 GPU kernel 形式化验证工具，可证明同步安全、无数据竞争与资源生命周期正确性，并通过系统性移除冗余同步使 NVIDIA B200 上的 kernel 最快提速 1.4 倍。

Drama3 模型现已支持在 audio.cpp 中运行，在 RTX 5090 上全速运行时最快可达实时速度的 5 倍，或在低于 8 GB 显存下以约 2 倍实时速度运行，仍需进一步优化与修正。