标签
SpecLA 提出了一种专为有状态线性注意力模型设计的推测解码运行时，在搭载 GDN-1.3B 目标模型的 NVIDIA H100 上，相比自回归解码实现了最高 1.70 倍的端到端加速。
FastVideo团队发布了面向B300的全新FP4注意力内核，速度相比FlashAttention 4提升最高达1.69倍。
两个香港学生通过在原自动研究框架外再套一层循环，实现了5倍加速，无需更优模型或更多算力，被认为是对普通Agent开发者最有用的论文之一。
Sankalp的博客文章，详细描述了他如何使用Codex在GPU Mode的竞赛中为QR分解实现快232倍的GPU内核，并概述了他的自动研究方法论。
来自 LLM工程师年鉴 的屋顶线模型估计了在不同模型和硬件上，不同草稿长度下投机解码的加速效果，并附注指出，当开销显著时，该模型可能低估收益。
Fable 通过编写高效 CUDA 超内核（megakernel），实现 18.71 倍加速，登上 KernelBench-Mega 榜首，标志着 AI 研发向递归自我改进迈出一步。
作者使用Codex优化了oMLX上的DeepSeek V4 Flash 8-bit MLX，实现了约1.6倍的预填充速度和3倍的解码加速。
Ollama 宣布，Gemma 4 在 Apple Silicon 上使用 MLX 后速度提升近 90%，这得益于默认启用的改进多 token 预测机制，并支持自动调节以避免减速。
DeepSeek 发布了一篇论文以及采用MIT许可证的开源实现（DSpark），通过使用小型“猜测”模型和大型“检查”模型，将LLM响应速度提升高达80%，同时兼顾速度与准确率，无需权衡取舍。
JetSpec引入了并行树草案技术用于推测解码，在保持无损准确性的同时，实现了LLM推理高达9.64倍的端到端加速，单块B200 GPU上吞吐量达到约1000 TPS。
GLM 5.2 在配备 512GB RAM 的 Mac Studio 上带来了重大性能提升，在高上下文长度下实现超过 100 t/s 的预填充速度，并支持超过 10 万 token 上下文的 4 位量化，详细信息见 oMLX 创建者的拉取请求。
Flash-KMeans是精确KMeans的一种I/O感知实现，它围绕现代GPU瓶颈重新设计了算法，通过消除冗余的内存读写，相比cuML实现了33倍加速，相比FAISS实现了200倍加速。
Anima Anandkumar 强调，尽管基准测试简单，但神经算子在像高分辨率 AI 天气预报模型 (FourCastNet) 和核聚变湍流这样的困难实际问题上实现了巨大加速（10,000 到百万倍）。她引用了一篇新论文，表明随着 PDE 任务难度的增加，学习型求解器变得更加经济高效。
开发者将Gemma 4 E4B在Google LiteRT引擎上的表现与Q4 GGUF量化版本进行对比，发现由于多令牌预测(MTP)，文本生成速度提升约2.4倍，但图像描述仅提升1.1倍。文章提供了一个面向OpenAI兼容端点的Python封装，但存在确定输出、单会话引擎等限制。
Atomic Chat 的 MTP 技术利用推测解码，在双 RTX 5090 上将 Qwen 稠密模型的速度提升 2.5 倍，MoE 模型提升 25%，同时保持零精度损失，仅增加约 1 GB 显存，通过一次前向传播草拟并验证多个 token。
llama.cpp的一个分支修复了量化KV缓存中的--split-mode tensor问题，在双GPU配置上实现高达40%的速度提升，且无质量损失。
NousResearch发布Lighthouse Attention，一种基于选择的分层注意力机制，在98K上下文下实现1.4-1.7倍实际时间加速，在单个B200上的512K上下文下，其前向/后向传播比标准注意力快约17倍，并在530M参数的Llama-3模型上跨50B tokens进行了验证。