cuda

SAGE 提出一种面向 2 比特权重向量量化的方法，通过能量分层分组（ESG）与自适应比特分配（ABS），在 Qwen3-30B-A3B 上保留 BF16 平均性能的 95.3%，并借助自定义 CUDA 内核实现最高 2.55 倍的端到端加速。

NVIDIA 担任 PyTorch 大会北美站赞助商，公布 12 场演讲与 25 个海报展示环节，涵盖编译器与 CUDA 图、FP4/FP8 低精度训练、分布式系统以及物理与智能体人工智能等方向。会议将于 10 月 20-21 日在圣何塞会议中心举行。

tqLLM 是一个 C++/CUDA 本地 LLM 推理引擎，支持 OpenAI 兼容 API 与 TurboQuant GGUF 权重，在 RTX 3090 和 RTX 5060 Ti 上实现 240+ tok/s 的解码速度、200K+ 长上下文以及不改变输出的投机解码。

SonicBoom v0.0.1 是一个原生 C++/CUDA 张量运行时，配备图编译器，在笔记本电脑的 RTX 3050 上，使用与 llama.cpp 相同的源自 ggml 的量化内核，实现了 52 tok/s 的解码速度，而 llama.cpp 为 45 tok/s，这表明如今的性能提升来自编译器层，而非手写内核。

有人提议利用 AI 将 NVIDIA 的 CUDA 逆向工程为开源实现，灵感来自 AI 辅助游戏模组，并指出 AMD Radeon 用户对 CUDA 专有锁定的持续不满。

作者从零构建了一个 GPU 编译器 emmy，展示如何通过多级中间表示（IR）将 PyTorch 计算图逐步 lowering 为 CUDA 内核，并发布了讲座视频、文章和开源代码。在多个基准测试中其生成的内核超越 Torch Inductor 和 cuBLAS，且支持 vLLM 端到端模型推理服务。

一位拥有12年以上苹果产品开发经验的博主正在测试搭载NVIDIA RTX Spark、128GB内存并支持CUDA的Surface Laptop Ultra，考虑从Mac转向Windows。

Graphsignal 发布开源工具 graphsignal-top，一个面向推理 GPU 的类 `top` 实时监控面板，可按时间排名显示 kernel、GPU 利用率、显存、功耗及 LLM 推理指标（tok/s、TTFT/TPOT 等），支持远程监控。

NVIDIA 的 CUDA 软件生态正推动 RTX Spark 笔记本热销，微软 Surface Laptop Ultra 的 128GB 统一内存顶配版（$5,899.99）已售罄，凸显开发者对本地运行大型 AI 模型的强劲需求。

Decapybara 是 MegaCapybara LLM 推理服务器的开源 C++20 与 CUDA 重构实现，面向 NVIDIA RTX 5090 Blackwell 硬件，支持 OpenAI 与 Anthropic 兼容 API、分层 KV 缓存及一整套 Blackwell CUDA 内核。

用于 Qwen3.8-27B 的 CUDA 巨型内核引擎在单张 RTX 3090 上实现了比 llama.cpp 快 1.4–1.9 倍的推理速度（代码生成速度为 140 token/秒），且没有可测量的精度损失，这一点已通过与参考实现对比的 KL 散度和困惑度基准测试得到验证。

DeepSeek 开源了其训练模型所用的 GPU kernel 库 DeepGEMM，将 FP8/FP4/BF16 GEMM、融合 MoE 通信重叠、MQA 打分等核心算子统一到单一 CUDA 代码库中，通过 DeepJIT 运行时编译，官方称性能可达 H800 上 1550 TFLOPS，并已推出昇腾（Ascend）版本。

Basalt 是一个专为 Blackwell 架构（5090 + 5060 Ti）深度优化的 Strata 分支推理引擎，据称吞吐量可达 Strata 的 2.6 倍，支持 Qwen3.8 Flash-Next、MTP、最多 8 路并发以及自定义视觉编码器，以 MIT 协议完全开源。

HauhauCS 的无审查 Qwen3.8-27B (GGUF) 在 NInfer (C++/CUDA 推理引擎) 上实现 262K 全原生上下文窗口与约 130 tok/s 解码速度，困惑度与官方模型相差不到 1.3%，视觉与工具调用功能保持正常。

一条推文称赞 Hugging Face Kernels（hf.co/kernels）是一款优秀的产品，展示了其社区 GPU 内核目录，可按平台（CUDA、ROCm、Metal、WebGPU、CPU）和硬件（H100、A100、MI300、Apple Silicon 等）进行筛选，其中包括 flash-attn2、nvfp4-gemm 和 ggml 量化内核等热门条目。

TornadoVM 团队推出 jitLLM——一个 Java 版类 vLLM 推理框架，通过将 Java 编译为 CUDA 和 cuTile，在 NVIDIA GPU 上的本地推理中达到 llama.cpp 约 90% 的性能。

NVIDIA AI Developer 分享了一段直播内容，重点介绍了 CUDA 13.4 的新特性，涵盖 NVIDIA GPU 计算平台和开发者工具包的更新。

Rgpu 是一个开源工具，可通过 TCP 让 PyTorch 张量和现有 CUDA 程序在远程 NVIDIA GPU 上执行计算，客户端应用保持在本地运行，提供 PyTorch 设备接口和 CUDA shim 两条路径。

Astral 的 GPU wheel 索引现已支持 PyTorch 2.13、2.14 和 Python 3.15，并针对各 CUDA 版本更新了 FlashAttention、FlashAttention 3、causal-conv1d、DeepSpeed 等 GPU 包的构建。

将 Swift 1.5（UkisAI 对 Qwen3.8-Flash-Next 的推理高效微调版）跑在 sf-stav 的 veloGB10 Rust/CUDA 引擎上，配合 2× DGX Spark 可达到约 110 tok/s 的解码速度，使得 xhigh 推理强度的完成速度超过了旧 vLLM NVFP4 配置下 medium 档的原版 Flash-Next——文中还提供了一个仅改 safetensors 头部信息的修复方案，使 14 个社区 EXL3 包中有 12 个能正常加载，因为当前 exllamav3 将 n-gram 表写成 128 个分片，而 velo 无法读取。