标签
本文基准测试了在 DGX Spark 机器上使用 DeepSeek v4 Flash 时，llama.cpp 中 batch 和 ubatch 参数对提示处理和文本生成速度的影响，揭示了文本生成性能的惊人效果。
本草案拉取请求引入了 AVX2 优化，旨在加速 llama.cpp 中 IQ 模型的大批量提示处理。llama.cpp 是一款用于高效 LLM 推理的开源工具。
使用双 RTX 3090 配置的用户发现，llama.cpp 的 `--split-mode tensor` 会在 CPU 上运行提示处理（约 400 t/s），而切换到 `--split-mode layer` 则可解锁 GPU 提示处理，速度超过 1600 t/s，且 token 生成速度仅略有下降。
一个llama.cpp的PR显著提升了Intel ARC GPU上的提示处理速度，基准测试显示在B580上从245t/s提升到462t/s。目前该改进仅适用于F16 KV量化，计划后续支持其他量化方式。
使用Strix Halo硬件对四个大型语言模型（≤120B参数）在深度上下文性能上的比较。与GPT-OSS和Qwen模型相比，Nemotron Super在深度上下文中的提示处理速度表现出色。
一位用户分享了在 Mac 上运行本地 LLM 的经验，指出与 Nvidia GPU 相比，AI 代理的提示处理较慢，并建议除非隐私问题，否则使用 Deepseek 等云端模型。
一个针对 llama.cpp 的拉取请求修复了使用 OpenCode 或 Pi 时出现的持续 prompt processing 问题。
一位用户使用 llama.cpp 对 Nvidia 5090 RTX GPU 进行 LLM 推理基准测试，测量了不同功耗水平下的提示处理和 token 生成情况，发现提示处理对功耗限制更为敏感，而 token 生成相对不敏感，并指出了与 4090 RTX 的差异。
本文分享了一个 llama.cpp 的性能优化技巧，展示了增大微批大小（`-ub`）并结合部分 CPU 卸载（`--n-cpu-moe`）可以显著提升 gpt-oss-120b 等大型模型在消费级 GPU 上的提示词处理速度。