cpu-optimization

Go引入了实验性的SIMD API，以启用平台无关的SIMD操作，旨在在不同CPU架构上提供接近汇编的性能。

Google 分享开源向量化快速排序代码，通过利用 SIMD 指令实现比 C++ std::sort 快 10 倍的速度提升，提供在现代 CPU 架构上性能可移植的排序。

Zyphra Research 发布 PUFFER，这是一种针对大规模语言模型数据集的增量模糊去重系统，完全在 CPU 上运行，比现有方法快 11-35 倍，已根据 Apache 2.0 协议开源。

一位开发者创建了一个最小化的700行C实现，用于在CPU上运行Gemma 4 E2B大型语言模型，速度超过llama.cpp。

本草案拉取请求引入了 AVX2 优化，旨在加速 llama.cpp 中 IQ 模型的大批量提示处理。llama.cpp 是一款用于高效 LLM 推理的开源工具。

FlashAttention-V引入了针对可扩展向量架构的分块FlashAttention优化，在CPU上的小型语言模型transformer推理中实现了高达42倍的加速，并识别了量化瓶颈。

一位开发者报告称，在AMD Ryzen CPU上使用二进制XNOR集成模型，在17.6秒内达到MNIST数据集92.32%的准确率，展示了与传统浮点CNN相比的显著速度提升。

Claude Code CLI 已通过更新 Bun 的垃圾回收器，使其仅在进程空闲时运行，从而优化了 CPU 使用率，在 p99 上降低了 2 倍。

Venkat 解释道，热路径中未经优化的CPU工作会严重影响推理性能，并介绍了他在 mooncake 中提交的PR，该PR添加了一个内存池，用于实现无锁、无分配的操作，使 vLLM 和 SGL 项目受益。

一篇深入的技术博客文章，解释如何使用现代x86_64 CPU上的SIMD指令高效地转置矩阵，重点介绍类似_mm256_shuffle_epi8的AVX2内联函数。

该 PR 为 ggml-cpu 加入针对 x86 及通用 CPU 优化的 q1_0 点积内核，提升量化 LLM 推理速度。

研究采用稀疏条带技术在CPU上优化2D图形渲染，以提升性能并降低内存开销。

微软官方 BitNet 仓库（bitnet.cpp）的持续更新合集：提供 1-bit/1.58-bit LLM 的高效 CPU/GPU 推理框架，近期新增 BitNet-embedding 0.6B/270M 嵌入模型、I2_S 量化优化内核以及实时多语种 ASR 推理引擎 VibeASR.cpp。