标签
一条推文分享了一个涵盖14年、450篇论文的GPU优化结构化参考资料，指出虽然一些技术已经发展，但心智模型仍然有用。还提到了Onur Mutlu关于GPU架构的讲座。
介绍DualKV，一种FlashAttention内核变体，可消除RL后训练（GRPO/DAPO）中冗余的提示词元计算，在30B MoE模型上实现高达3.82倍的加速。
一位用户分享了在运行Qwen3.6-27B与vLLM的4x RTX 3090平台上进行的功耗限制测试，发现220W是在最小化吞吐量损失下实现峰值效率的甜点。
Flash-GRPO 通过等时间分组和时间梯度校正解决时间方差和梯度不一致问题，从而提升了视频扩散模型的训练效率，实现了最先进的对齐质量和显著的训练加速。
deeplearning.ai与AMD合作推出的新课程《Transformers in Practice》，教授对基于Transformer的LLM的实践理解，涵盖文本生成、注意力机制以及量化（quantization）和KV缓存等推理优化技术。
本文介绍了 Ada-MK，一种利用自动化基于有向无环图（DAG）的搜索来消除运行时分支并减少大语言模型（LLM）推理共享内存使用的自适应 MegaKernel 优化方法。通过集成到 TensorRT-LLM 中，该方法在 NVIDIA Ada GPU 上展示了显著的吞吐量提升，在商业广告系统中相比原生 TensorRT-LLM 性能最高提升 23.6%。
作者展示了如何在通过 llama.cpp 运行量化 Qwen 模型时，在不牺牲推理速度的前提下，将 RTX 4090 的功耗降低高达 40%。通过 nvidia-smi 限制 GPU 功耗上限并调整 llama-server 参数，用户可显著降低发热与噪音，并延长硬件使用寿命。
一个开发者工具包，提供在使用 TensorRT-LLM 通过 Nvidia Blackwell GPU 以 NVFP4 精度运行大型语言模型时的配置、预编译包（wheels）及基准测试数据。
一次技术讨论验证了在配备 FP8 Tensor Core 的 NVIDIA H100 GPU 上 TurboQuant 的性能数据，并承诺将带来非 H100 测试的更多见解。
ExLlamaV3 发布了一系列重大更新，包括对 Gemma 4 的支持、缓存效率的提升，以及新的 DFlash 技术，可显著提高各类模型的推理速度。
这篇文章详细介绍了一个经过定制并量化的 DeepSeek-V4-Flash 模型版本，启用了 MTP 自推测功能。通过修改后的 vLLM 设置，在双 RTX PRO 6000 Max-Q GPU 上实现了显著的速度提升。
0xSero 发布了腾讯 Hy3-preview 模型的 FP8 和 NVFP4 量化版本，使其能够在使用完整上下文的情况下在 256GB 显存的设备上运行。
BeeLlama.cpp 是一个专注于性能的 llama.cpp 分支，引入了 DFlash 投机解码和 TurboQuant KV 缓存压缩技术，使得在消费级硬件上也能高速本地运行像 Qwen 3.6 27B 这样的大型模型。
一名用户分享了一份配置方案，该方案在使用 llama.cpp 和多令牌预测（MTP）的情况下，能在 12GB 显存的 GPU 上让 Qwen3.6 35B A3B 模型实现超过每秒 80 个令牌的生成速度。帖子中包含了基准测试结果以及用于优化性能的具体命令行参数。
TRL v1.4 发布，该版本为 SFT 引入分块 NLL 损失以降低显存占用，并实现与 OpenReward 的一级集成以支持 GRPO。
本文介绍了TwELL和Hybrid稀疏格式，配合自定义CUDA内核，有效利用LLM中的非结构化稀疏性，在H100 GPU上实现了训练和推理速度提升超过20%，同时降低了能耗和内存使用。
来自麻省理工学院（MIT）和 IBM 的研究人员开发了一种快速工具，可在几秒钟内估算 AI 功耗，速度远超传统的模拟方法，有助于优化数据中心的能源效率。
Deepseek 开源 DeepEP V2 与 TileKernels，两套全新的 GPU 内核库，用于加速 AI 工作负载。
一台笔记本借助 Hermes agent 本地运行 31B 模型，速度 15 tok/s，显存占用 22.8 GB，功耗 94 W，实现完全自主、私密、无需云端的 AI 推理。