标签
文章分享了一套让 Claude 做性能优化的提示词技巧:用面向数据设计(DOD)重写代码,把哈希表拍平成数组、指针改为数组索引、AoS 改成 SoA,甚至删光所有缓存,以彻底压榨硬件性能而非用缓存掩盖慢设计。
用户分享的一个 GitHub 仓库展示了在 AMD Radeon RX 7900 XTX GPU 上本地运行 Qwen3.8 27B 时,推理速度得到显著提升。
TryMirai 开源了 uzu —— 一款 Apple Silicon 推理引擎,其核心特性是 Weaver + DFlash 投机解码,能让 9B 参数 LLM(Qwen3.5)在本地运行速度提升 4 倍,比标准投机解码快 2.6 倍。
@NVIDIARTXSpark 分享了三种加速 NVIDIA DGX Spark 上混合专家模型(MoE)推理的技术,涵盖优化内核、FP8 量化和多 token 预测,以提升每秒 token 吞吐量。
ParadeDB 详细介绍了基于 Spooky LSM 压缩论文的段分区技术以及其他优化手段,如何在 Postgres 搜索工作负载上大幅提升了 COUNT 查询和带过滤、排序的搜索性能——速度最高可提升至原来的 66 倍。
TorchTitan 发布重大性能与架构更新,新增对 DeepSeek-V4、Qwen3.5、Kimi K3、Muse Spark Open 等 SOTA 模型的完整 5D 并行支持,并推出统一后训练与智能体工作负载的 TitanRL 框架,FlexShard 与 torch_checkpointing 大幅提升大规模训练效率。
一位 Reddit 用户在 Anthropic 的 Claude AI 帮助下,开发了一款开源的《上古卷轴4:湮灭 重制版》性能优化模组,包含 40 多项引擎级优化,可将帧率提升 40% 以上,并大幅减少卡顿,同时不牺牲任何画面效果。
gpu-unlock 1.0.0 发布候选版是一个 Linux 内核模块,通过在 NVIDIA 驱动绑定前解锁 RTX 3090 的 BF16 全速档位,免费实现约 15% 的提示词处理与 5% 的词元生成提速,无需修改驱动或 UEFI。
亚马逊关于在 AWS Trainium 上分析 TorchNeuron 工作负载的系列教程第 1 部分,涵盖如何使用 Neuron 后端配置 torch.profiler、解读 key_averages() 输出,以及通过 Neuron Explorer 追踪操作。
DNSimple 详细介绍了他们如何通过纯 BEAM 二进制处理技巧重写开源 DNS 库 dns_erlang 的热路径,在无需 NIF 或 C 代码的情况下实现每次查询 CPU 降低 12%、每秒查询量提升 14%。
L. Pereira 于 2014 年撰写的一篇博客文章,探讨了在 C 语言中将整数转换为字符串的多种逐步优化的方法,比较了朴素的除法方案、Lwan 中使用的免原地反转的变体,以及 Facebook 的双位数查表技巧——该技巧大致将除法次数减半,带来约 31% 的速度提升。
介绍 SentryWard:一个开源的 GPU kernel 形式化验证工具,可证明同步安全、无数据竞争与资源生命周期正确性,并通过系统性移除冗余同步使 NVIDIA B200 上的 kernel 最快提速 1.4 倍。
Niles Salter 的演讲介绍如何利用 SIMD 数据并行与位运算原语(CTZ、TZCNT 等)加速 Zig 分词器,实现 820 MB/s 的吞吐量,并探讨 AVX-512 带来的进一步提速空间。
curl 8.23.0 引入多项性能优化,包括 base64 编解码、URL 编解码、日期和数字解析提速,以及约 40% 的结构体内存缩减和更少的内存分配。
一篇工程博客分享了如何通过将 Unreal 编辑器着色器哈希从缓慢的 SHA1 替换为引擎内已有的 xxHash,从而加速编辑器启动与资产处理。文章强调应避开已被高度优化的代码路径,转而寻找被忽视的低垂果实。
strata-mlx 更新:中断的长对话不再重读,10K token 会话的首字符输出时间从 19.7 秒降至 0.26 秒(M4 Max),并优化了 32 GB Mac 的内存管理,避免 swap。该项目是运行 Qwen3.8-Flash-Next 等 125B MoE 模型的 Apple Silicon MLX 推理引擎,吞吐量显著优于 llama.cpp 和 LM Studio。
strix-llama.cpp 的 rdna35-perf 分支为 Strix Halo(Radeon 8060S)带来新的 RDNA3.5 闪存注意力与 GEMM 内核优化,提示词处理速度比 Vulkan 快 21–54%,在 128k 长上下文下最快可达原版 ROCm 的 2.7 倍,且输出质量与原版 ROCm 基本一致。
开发者帮助优化了 llama.cpp 的分支 ROCmFPX 在 AMD Strix Halo(Ryzen AI Max+ 395)上的运行速度,通过合并 16 个 PR,大幅提升了预填充和解码速度,并提高了量化精度。
提醒用户尝试 llama.cpp 中新合并的概率式 MTP(多 token 预测)功能,在散文生成场景下解码速度提升约 14%,最优 draft-n-max / draft-p-min 参数与贪心采样基本一致。
NumPy 2.5 引入了 np.searchsorted 的向量化实现,通过批处理和缓存友好技术实现了最高 25 倍的加速,惠及包括 SciPy 和 scikit-learn 在内的更广泛的 Python 科学生态系统。