gpu-optimization

HyScale 提出了一种面向长上下文训练的学习型稀疏注意力系统，通过 HyTopK（免分数表的精确 top-k 选择）和选择重放（selection replay）技术，在 1M token 序列上将 GLM-5.1 训练速度提升至 Megatron-LM 的 2.07 倍。

在 PyTorch Con 2026 上，Mark Saroufim 探讨了支撑更优优化器的线性代数内核，涵盖 QR、对称特征分解与 Cholesky，并从 GPU MODE 的线性代数竞赛中总结了如何通过暴露并行性、重叠独立阶段和合并更新来减少数据搬运。

Blockway 团队发布了 Volundr 32B 模型及自研 Agens Engine 推理引擎（MIT 开源），通过让 72 层中的 54 层使用固定大小状态替代增长的 KV cache，使 262K 长上下文能在 16 GB GPU 预算内运行，并演示了 110K token 冷读约 69 秒、后续追问 0.5 秒回答的实测。

一个团队分享了他们如何基于自托管 Pipecat、Mai Transcribe 2、Sarvam 对话式 LLM，以及针对马拉雅拉姆语微调的 VoxCPM2 TTS 构建生产级语音 Agent 技术栈，在单块 L4 GPU 上实现 20 路并发低延迟语音流，并支持 WhatsApp 通话后自动跟进交接。

llama.cpp 的 CUDA 后端发布了一个 GitHub 拉取请求（#30517），旨在加速面向低比特类型（low-bit types）的 MMVQ（矩阵-向量量化乘积）运算。其目标是提升量化模型在 GPU 上的推理性能。

作者将 adaptive KV streaming 从 CUDA 移植到 ROCm/HIP，并结合 RDNA 4 内核优化，使 Qwen3-27B (IQ4_XS) 能在单张 16GB RX 9070 XT 上以完整 262k 上下文运行，MTP 解码达到 80+ t/s。项目包含大量内核级优化与功耗调优结果，已发布到 GitHub 分支。

加州大学圣迭戈分校与亚马逊 Annapurna Labs 提出“如何训练你的小龙”训练方法，通过监督微调与强化学习，使一个 80 亿参数的小模型学会构建和改进 GPU 优化脚本，在正确率和内核性能上超越多个万亿参数级的前沿大语言模型。

Basalt 是一个为 Qwen 3.8 Flash Next 定制的推理引擎，从 Strata 分叉而来并针对 Blackwell 深度调优。它引入了动态视觉编码：空闲时将图像编码器保存在 RAM 中以节省 VRAM，仅在有图像输入时才上传到显存，对文本推理的开销几乎为零。团队还公开了相关 commit hash，方便开发者将该技术移植到自己的推理引擎中。

用于 Qwen3.8-27B 的 CUDA 巨型内核引擎在单张 RTX 3090 上实现了比 llama.cpp 快 1.4–1.9 倍的推理速度（代码生成速度为 140 token/秒），且没有可测量的精度损失，这一点已通过与参考实现对比的 KL 散度和困惑度基准测试得到验证。

一位开发者分享了在 64 GB Mac mini M5 上从 SSD 流式加载 Qwen Flash Next Q4 MoE 专家层的性能数据与优化方案，解码速度达到 17.5 tok/s，而 GPU 有 27% 的时间处于等待专家层从 SSD 加载的状态，并寻求提升专家预取准确率和命中率的思路。

DeepSeek 发布了 DeepGEMM，这是一个用于训练和运行其自家模型的开源 GPU 数学引擎，声称通过让现有 GPU 每秒吐出更多 token，最多可节省 98% 的 token 成本。

一位社区开发者发布了 Ninfer 4080，这是一个优化的本地推理运行时，可在 16GB 的 RTX 4080 上以 100k 上下文运行 Qwen 3.8 27B GSQ 模型，通过 DFlash2 投机解码实现了最高约 2720 tok/s 的预填充速度和 262 tok/s 的解码速度——比 llama.cpp 或 vLLM 等通用引擎快得多。

.wave 团队推出了一款推理引擎，采用 Wave Persistent Kernel 编译器，以 $0.00045/分钟 的价格提供 NVIDIA Nemotron 3.5 ASR Streaming 服务，在单块 H100 上支撑 4,800 路并发流，p99 帧完成时间低于 106.3 ms——约为 NVIDIA 公布的流处理容量的 20 倍，而价格仅为竞品 ASR 服务的一小部分。

一条推文指出，在使用张量并行度 4 时，于 SM120 上启用 CustomAllReduce，可以让 Blackwell GPU 免费获得约 5% 的每秒 token 性能提升，并开玩笑说封闭的实验室恨透了这个技巧。

am17an 提交的 llama.cpp 拉取请求（#29184）将共享专家（shared experts）融合进 MMVQ（矩阵矩阵向量量化）CUDA 核心中，优化了 GPU 上混合专家（mixture-of-experts）模型的推理性能。

GEM-KMeans 提出了一种谱归一化、高内存效率的 K-means 聚类非线性回归（NLR）公式，将更新融合进单次矩阵乘法的收尾阶段（epilogue），使 GPU 高带宽存储只需保留一个因子，同时在超大规模数据上保持聚类精度。

作者对创建针对特定架构优化的llamacpp硬分叉、却不向上游贡献的常见做法提出担忧，质疑原因并指出这与传统开源规范存在脱节。

一位用户分享了针对Tesla P100 GPU的内核优化，以提升使用llama.cpp运行Qwen 3.8模型时的性能，实现了显著的推理加速。

这篇文章介绍了 1Cat-vLLM，这是一个针对 NVIDIA V100 GPU 优化的 vLLM 分支，并将其性能与 llama.cpp 进行比较，用于服务像 Qwen3.6-35b 这样的大型语言模型。

Augment Code将其编码代理后端切换到Stefano Ermon的Mercury 2.5扩散模型，在生产环境中实现了82%的延迟降低和90%的成本削减。文章强调了扩散模型的性能优势以及独立AI基准测试工具的必要性。