llamacpp

用户从Windows切换到Linux，并将llamacpp替换为vllm，在AI推理中实现了30-50%的速度提升。

Minimax-M3 模型的视觉支持已合并到 llama.cpp 项目，使得该模型可以在本地进行多模态推理。

Laguna-S-2.1 是一个量化AI模型，运行在配备RTX 3080的6年前旧游戏电脑上，解码速度达到10 token/秒，占用8.3 GB显存和52.2 GB主机内存。

llama.cpp的一个新PR将ROCm上的提示处理速度提升了约15%，并修复了一个bug，使Q2_K量化速度提升了28倍。

llama.cpp 在 Qwen 3.6 27B 上的推测性解码方法的全面基准测试表明，在 DFlash 上叠加 n-gram 堆叠在迭代编码任务中实现了高达 6 倍的加速，其中 ngram-mod 贡献了大部分增益且零 VRAM 成本。

基于 Qwen3.6-35B-A3B-UD-Q8_K_XL 在 DGX Spark 上的基准测试结果，使用 Mia 发布的 llama.cpp 脚本，展示了在不同上下文长度下快速的 token 生成时间。

一位用户询问在改用Linux时，Ubuntu与vLLM、llama.cpp和ComfyUI等本地AI工具的兼容性。

一名用户报告称，Qwen3.6-27B 模型在使用 llama.cpp 时比使用 vLLM 表现更好且更可靠，并指出尽管进行了大量配置，vLLM 仍出现工具调用错误和“被切除脑叶”的行为。

一位用户分享了在双GPU配置（RTX 4090 + RTX 3090）上使用llama.cpp运行Qwen3.6 27B (Q8_0)的优化设置，在250k上下文下实现了75-100 t/s和1500 pp。

作者发现同时使用CUDA和Vulkan后端编译llama.cpp是可行的，解码速度提升了约10% tokens/秒。他们计划运行进一步基准测试来评估其优势。

Cohere 的 command-a-plus-05-2026 模型的 GGUF 量化版本，针对 llama.cpp 进行了优化，并提供了多种量化级别，适用于本地推理。

在Google Pixel 10 Pro上使用llama.cpp运行Gemma 12B模型，实现了每秒6.5个token的提示处理和每秒1.3个token的生成，功耗低于10瓦，展示了高效的设备端AI推理。

用户报告称，当系统提示较大（约 21k 个 token）时，Gemma 4 12B 统一音频模型会停止关注语音，并请求变通方法或解释，指出该问题在 vLLM、llama.cpp 和 LiteRT-LM 后端中均存在。

Llamacpp 服务器现在支持在30秒内热切换模型，相比之前像 PyTorch 等方法，速度显著提升。

在 llamacpp 分支上使用基于 Qwen 的 MoE 模型测试了多 token 预测，相比 fp16 基线获得了 +0.41% 的 PPL 提升。

OpenBMB发布的新BitCPM4-CANN模型（1B、3B、8B），已上架Hugging Face；等待llamacpp支持以进行测试。

一位开发者分享了在搭载 NVIDIA RTX Pro 4500 Blackwell 显卡的服务器上，使用 llama.cpp 运行 Qwen3.6-27B 模型的本地推理基准测试数据及 systemd 配置。该帖文征集了提升吞吐量的优化建议，并探讨了更大模型的潜在应用场景。

llamacpp 即将支持多令牌预测（MTP），提升推理效率。

Reddit 用户展示了 llamacpp 的投机解码功能将 Qwen-3.6-27B 的生成速度从 13.6 提升至 136.75 t/s，并分享了完整的命令参数和硬件配置。

社区释出去除安全拒答的 Qwen3.6-27B，并以专为 llama.cpp 与 LM Studio 优化的 K_P GGUF 量化格式打包。