llama.cpp b9966 针对 sm-tensor

Reddit r/LocalLLaMA 工具
llama-cpp performance caching regex decode optimization open-source

摘要

llama.cpp b9966 引入了一个针对 -sm tensor 模式的修复，该修复缓存了正则表达式模式，消除了解码线程中每个张量每个标记的 29 次重新编译，从而显著减少了 CPU 开销。

B9966 如果你在生产环境中运行 -sm tensor，你可能想要获取这个修复，它去除了解码线程中每个张量每个标记的 29 次正则表达式重新编译。Claude 用一句话告诉我这意味着什么：代码原本是在每个张量每个标记上从头重建 29 个正则表达式模式，而不是构建一次并重用它们，所以这个修复只是缓存了它们——行为相同，但解码线程上浪费的 CPU 大大减少。
查看原文

相似文章

Llama.cpp：拆分模式张量修复即将到来？

Reddit r/LocalLLaMA

Llama.cpp 预计将获得针对多 GPU 配置下拆分模式张量崩溃问题的修复，该问题目前每 90-120 分钟导致 VRAM 耗尽。据称，该修复还能带来约 35% 的吞吐量提升，优于分层模式。

ggml-org/llama.cpp

GitHub Trending (daily)

llama.cpp 是一个开源 C/C++ 库，用于在本地硬件上高效运行 LLM 推理，支持多种量化方法和多后端（CPU、GPU 等）。