给所有使用 OpenCode / Pi 的用户——这是你的 prompt processing 修复方案！
摘要
一个针对 llama.cpp 的拉取请求修复了使用 OpenCode 或 Pi 时出现的持续 prompt processing 问题。
这个 PR 值得更多关注，因为它修复了将 llama.cpp 与 Opencode 或 pi 一起使用时出现的持续 prompt processing 问题。[https://github.com/ggml-org/llama.cpp/pull/22929](https://github.com/ggml-org/llama.cpp/pull/22929)
相似文章
llamacpp有一个新的PR，声称使用rocm可将提示处理速度提升约15%，同时修复了一个bug，使Q2_K的速度提升了28倍
llama.cpp的一个新PR将ROCm上的提示处理速度提升了约15%，并修复了一个bug，使Q2_K量化速度提升了28倍。
pi 0.81.0 增加了对 llama.cpp 的支持
Pi 0.81.0 增加了对 llama.cpp 的支持，从而能够在 Pi 编码代理环境中进行本地 LLM 推理。
PSA：如果您几天未更新Llama.cpp，发现MTP性能不佳，请更新Llama.cpp。
更新Llama.cpp可获得显著的token生成速度提升，最高达1.5-1.8倍，并改善提示处理。
提示：使用这个llama.cpp的PR提升Intel ARC上的提示处理速度
一个llama.cpp的PR显著提升了Intel ARC GPU上的提示处理速度，基准测试显示在B580上从245t/s提升到462t/s。目前该改进仅适用于F16 KV量化，计划后续支持其他量化方式。
llama.cpp 开放PR列表 - CPU/内存/磁盘/混合相关 - 优化纯CPU与混合推理
号召大家参与llama.cpp的开放PR，优化CPU、内存、磁盘和混合推理，提升性能，争取年底前完成。