标签
Stanford 和 NVIDIA 发布开源的 CLM，这是一种基于向量的方法，通过使用嵌入而非令牌生成从候选动作中进行选择，使 AI 智能体的决策速度提升高达 13 倍。
模型嫁接技术将 Qwen3.5-4B 修改为因果编码器-解码器，创建变体，在提示处理中速度提升高达3.7倍，且准确度损失最小。
HyperspaceDB v3.1.4引入了先进的量化技术以实现显著的速度提升，一个针对Mem0和Zep的低延迟即插即用替代品，以及内置的Agent轨迹和稳定性分析跟踪。
本文介绍了ClusterAttention，这是一种无训练方法，通过使用递归聚类实现块稀疏注意力，加速Transformer模型中的双向注意力。在表格数据上实现了2-6倍的加速，在视频生成上实现了1.8倍的加速，同时保持了高准确度。
MiniMax-H3 的早期预览版 LoRA 支持 4 步音视频生成，取代约 20 步，采样速度大约提升 5 倍，但质量仍不成熟。
一个 llama.cpp PR 将采样从 CPU 移至 GPU，在 RTX 5090 上为 Qwen3.6-35B 推理带来 8% 的 token 速度提升，在 Tesla P40 上约为 4%。
SpecLA 提出了一种专为有状态线性注意力模型设计的推测解码运行时，在搭载 GDN-1.3B 目标模型的 NVIDIA H100 上，相比自回归解码实现了最高 1.70 倍的端到端加速。
FastVideo团队发布了面向B300的全新FP4注意力内核，速度相比FlashAttention 4提升最高达1.69倍。
两个香港学生通过在原自动研究框架外再套一层循环，实现了5倍加速，无需更优模型或更多算力，被认为是对普通Agent开发者最有用的论文之一。
Sankalp的博客文章，详细描述了他如何使用Codex在GPU Mode的竞赛中为QR分解实现快232倍的GPU内核，并概述了他的自动研究方法论。
来自 LLM工程师年鉴 的屋顶线模型估计了在不同模型和硬件上，不同草稿长度下投机解码的加速效果，并附注指出，当开销显著时，该模型可能低估收益。
Fable 通过编写高效 CUDA 超内核（megakernel），实现 18.71 倍加速，登上 KernelBench-Mega 榜首，标志着 AI 研发向递归自我改进迈出一步。
作者使用Codex优化了oMLX上的DeepSeek V4 Flash 8-bit MLX，实现了约1.6倍的预填充速度和3倍的解码加速。
Ollama 宣布，Gemma 4 在 Apple Silicon 上使用 MLX 后速度提升近 90%，这得益于默认启用的改进多 token 预测机制，并支持自动调节以避免减速。
DeepSeek 发布了一篇论文以及采用MIT许可证的开源实现（DSpark），通过使用小型“猜测”模型和大型“检查”模型，将LLM响应速度提升高达80%，同时兼顾速度与准确率，无需权衡取舍。
JetSpec引入了并行树草案技术用于推测解码，在保持无损准确性的同时，实现了LLM推理高达9.64倍的端到端加速，单块B200 GPU上吞吐量达到约1000 TPS。
GLM 5.2 在配备 512GB RAM 的 Mac Studio 上带来了重大性能提升，在高上下文长度下实现超过 100 t/s 的预填充速度，并支持超过 10 万 token 上下文的 4 位量化，详细信息见 oMLX 创建者的拉取请求。
Flash-KMeans是精确KMeans的一种I/O感知实现，它围绕现代GPU瓶颈重新设计了算法，通过消除冗余的内存读写，相比cuML实现了33倍加速，相比FAISS实现了200倍加速。