Tag
SAGE 提出一种面向 2-bit 权重向量量化的方法，通过能量分层分组（ESG）与自适应比特分配（ABS），在 Qwen3-30B-A3B 上保留 BF16 平均性能的 95.3%，并借助自定义 CUDA 内核实现最高 2.55× 端到端加速。
NVIDIA 担任 PyTorch Conference 北美站赞助商，公布 12 场演讲与 25 个海报环节，涵盖编译器与 CUDA Graphs、FP4/FP8 低精度训练、分布式系统以及物理与智能体 AI 等方向。会议将于 10 月 20-21 日在圣何塞会议中心举行。
tqLLM 是一个 C++/CUDA 本地 LLM 推理引擎，支持 OpenAI 兼容 API 与 TurboQuant GGUF 权重，在 RTX 3090 和 RTX 5060 Ti 上实现 240+ tok/s 的解码速度、200K+ 长上下文以及不改变输出的投机解码。
SonicBoom v0.0.1 is a native C++/CUDA tensor runtime with a graph compiler that achieves 52 tok/s decode on a laptop RTX 3050 vs llama.cpp's 45 tok/s using the same ggml-derived quantized kernels, showing that gains now come from the compiler layer rather than hand-written kernels.
A post floats the idea of using AI to reverse-engineer NVIDIA's CUDA into an open-source implementation, inspired by AI-assisted game modding, and highlights ongoing frustration among AMD Radeon users over proprietary CUDA lock-in.
作者从零构建了一个 GPU 编译器 emmy，展示如何通过多级中间表示（IR）将 PyTorch 计算图逐步 lowering 为 CUDA 内核，并发布了讲座视频、文章和开源代码。在多个基准测试中其生成的内核超越 Torch Inductor 和 cuBLAS，且支持 vLLM 端到端模型推理服务。
一位拥有12年以上苹果产品开发经验的博主正在测试搭载NVIDIA RTX Spark、128GB内存并支持CUDA的Surface Laptop Ultra，考虑从Mac转向Windows。
Graphsignal 发布开源工具 graphsignal-top，一个面向推理 GPU 的类 `top` 实时监控面板，可按时间排名显示 kernel、GPU 利用率、显存、功耗及 LLM 推理指标（tok/s、TTFT/TPOT 等），支持远程监控。
NVIDIA 的 CUDA 软件生态正推动 RTX Spark 笔记本热销，微软 Surface Laptop Ultra 的 128GB 统一内存顶配版（$5,899.99）已售罄，凸显开发者对本地运行大型 AI 模型的强劲需求。
Decapybara 是 MegaCapybara LLM 推理服务器的开源 C++20 与 CUDA 重构实现，面向 NVIDIA RTX 5090 Blackwell 硬件，支持 OpenAI 与 Anthropic 兼容 API、分层 KV 缓存及一整套 Blackwell CUDA 内核。
A CUDA megakernel engine for Qwen3.8-27B achieves 1.4-1.9x faster inference than llama.cpp on a single RTX 3090 (140 tok/s for code generation) with no measurable accuracy loss, verified via KL divergence and perplexity benchmarks against the reference implementation.
DeepSeek 开源了其训练模型所用的 GPU kernel 库 DeepGEMM，将 FP8/FP4/BF16 GEMM、融合 MoE 通信重叠、MQA 打分等核心算子统一到单一 CUDA 代码库中，通过 DeepJIT 运行时编译，官方称性能可达 H800 上 1550 TFLOPS，并已推出昇腾（Ascend）版本。
Basalt 是一个专为 Blackwell 架构（5090 + 5060 Ti）深度优化的 Strata 分支推理引擎，据称吞吐量可达 Strata 的 2.6 倍，支持 Qwen3.8 Flash-Next、MTP、最多 8 路并发以及自定义视觉编码器，以 MIT 协议完全开源。
HauhauCS 的无审查 Qwen3.8-27B (GGUF) 在 NInfer (C++/CUDA 推理引擎) 上实现 262K 全原生上下文窗口与约 130 tok/s 解码速度，困惑度与官方模型相差不到 1.3%，视觉与工具调用功能保持正常。
A tweet praising Hugging Face Kernels (hf.co/kernels) as a great product, showcasing its catalog of community GPU kernels filterable by platform (CUDA, ROCm, Metal, WebGPU, CPU) and hardware (H100, A100, MI300, Apple Silicon, etc.), including popular entries like flash-attn2, nvfp4-gemm, and ggml quantization kernels.
TornadoVM 团队推出 jitLLM——一个 Java 版类 vLLM 推理框架，通过将 Java 编译为 CUDA 和 cuTile，在 NVIDIA GPU 上的本地推理中达到 llama.cpp 约 90% 的性能。
NVIDIA AI Developer shared a broadcast highlighting what's new in CUDA 13.4, covering updates to NVIDIA's GPU computing platform and developer toolkit.
Rgpu 是一个开源工具，可通过 TCP 让 PyTorch 张量和现有 CUDA 程序在远程 NVIDIA GPU 上执行计算，客户端应用保持在本地运行，提供 PyTorch 设备接口和 CUDA shim 两条路径。
Astral's GPU wheel indexes now support PyTorch 2.13 and 2.14 and Python 3.15, with updated builds of FlashAttention, FlashAttention 3, causal-conv1d, DeepSpeed and other GPU packages across CUDA versions.
Running Swift 1.5 (UkisAI's reasoning-efficient fine-tune of Qwen3.8-Flash-Next) on sf-stav's veloGB10 Rust/CUDA engine across 2× DGX Spark yields ~110 tok/s decode, letting xhigh reasoning effort finish faster than base Flash-Next at medium on an older vLLM NVFP4 setup — including a header-only safetensors fix so 12 of 14 EXL3 community packs load, since current exllamav3 writes the n-gram table as 128 shards that velo can't read.