llama-cpp

AnythingLLM Desktop is replacing its bundled Ollama engine with AMD's open-source Lemonade server running llama.cpp, aiming for faster updates, direct GGUF downloads from Hugging Face, and broader hardware support including Vulkan, CUDA, Metal, and NPU acceleration.

A user shares how they serve 40 employees (10 developers) with a fully local AI stack powered by a 4U server with 4x RTX 6000 Blackwell MaxQ GPUs (384GB VRAM), running DeepSeek V4 Flash via vLLM, Qwen 3.8 27B and K2-Horizon 7B via llama.cpp, plus n8n automation, OpenWebUI, Whisper/Vexa AI Teams transcription, and ComfyUI for marketing.

作者将上周的 MoE 专家按需从磁盘流式加载的方案接入 llama.cpp 的 WebGPU 后端，使 80B MoE 模型（Qwen3-Next，48GB GGUF）也能在 Chrome 标签页中运行，无需为每个模型手写引擎。该方案新增了 ggml-webgpu 的缓冲类型、slot 映射的 MUL_MAT_ID 着色器和驻留逻辑，实测在 M4 Pro MacBook 上以 2.9 tok/s 解码 80B 模型，较小模型可达 22 tok/s。

A user asks why Multi-Token Prediction (MTP) speculative decoding in llama.cpp yields lower throughput (~15 tok/s) than standard decode (~30 tok/s) for Ornith 1.5 9B, despite a high 0.95 draft acceptance rate, noting halved memory bandwidth and GPU utilization.

rdna35-perf branch of strix-llama.cpp 为 Strix Halo (Radeon 8060S) 带来新的 RDNA3.5 flash attention 与 GEMM 内核优化，prompt processing 比 Vulkan 快 21–54%，在 128k 长上下文下比原版 ROCm 最快达 2.7 倍，且输出质量与原版 ROCm 基本一致。

Developer helped speed up ROCmFPX, a llama.cpp fork, on AMD Strix Halo (Ryzen AI Max+ 395), achieving major prefill and decode speedups with 16 merged PRs and improved quantization accuracy.

Recall is an open-source, local semantic file search tool for Linux built in Rust with GTK 4, using EmbeddingGemma 2 via llama.cpp to index PDFs, Office files, media and more for content-based queries with no network required after model download.

ROCmFPX 的融合 HC norm 内核通过在寄存器中直接写出 Q8_1 副本，省去了 MMQ 重复量化 335MB 数据的开销，在 2.3%–3.6% 的 pp8192 性能提升下保持位级一致。

ROCmFPX 更新了融合 HC norm 的匹配器，使其能识别 qwen4exp 将 REPEAT/MUL/ADD 合并为单一 op 的组合，从而将 HC 内核每 2048 token 耗时从 416 ms 降至 175 ms。相关修复还解决了导致 llama-perplexity 崩溃的 xn 别名问题，并在 BF16 拷贝路径上移除了变慢的 Q8_0 MMB down proj。

ROCmFPX 解决了预填充阶段 MMQ 阻塞问题，通过寄存器路径将 Q4_0_ROCMI4 权重反量化为 BF16 WMMA GEMM，在 Qwen3.8 Flash Next HC-Q8 上实现 ub 512 约 13%、ub 1024 约 23% 的吞吐提升，稀疏专家处理时间从约 2.3 秒降至 1.8 秒。

A developer showcases a custom `--moe-direct-io` feature for llama.cpp that achieves 10–15x speedup (20–24 tok/s) running the 125B MoE Qwen3.5-Flash Next (IQ2_XS, 68GB) on just an RTX 3060 12GB with 16GB RAM, while keeping output bit-exact to stock.

Liquid AI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本，专为边缘 AI 和端侧部署设计，并包含通过量化感知蒸馏（QAD）训练的 Q4_0 检查点以恢复量化损失的精度。

HauhauCS 的无审查 Qwen3.8-27B (GGUF) 在 NInfer (C++/CUDA 推理引擎) 上实现 262K 全原生上下文窗口与约 130 tok/s 解码速度，困惑度与官方模型相差不到 1.3%，视觉与工具调用功能保持正常。

作者在同一块 RTX 4090 上对四个开源决策模型（Laya、d1 3B、Clef-Flash 9B、Lev 4B）做了逐词推理基准测试，Laya 以每词 3.9ms 的延迟成为最快，Lev 准确率最高但慢 13 倍。

发布了 pi-automode-classifier 插件，为 Pi coding agent 提供命令自动审批功能：内置规则先判断常见命令，未知命令交由 Jev（托管）或 Kev/Laya（本地 llama.cpp 运行）评估风险概率，超过阈值才请求人工确认。

Underdog AI 发布了 Saluki 27B——Qwen3.8-27B 的 2-bit 量化版本，文件仅 7.89 GB，可在 16GB 笔记本上通过标准 llama.cpp 运行，在其自建的 Underdog Bench 工具调用测试中取得 88/120 的成绩，保留了原模型约 96% 的性能。

ConwayResearch 发布 Underdog-Saluki-27B-1.0，一个基于 Qwen3.8-27B 的 IQ2 量化模型，可在不到 8GB 内存中运行，同时保留约 96% 的工具调用能力，并支持可选视觉扩展，兼容标准 llama.cpp。

A pull request to llama.cpp adds support for the K2 Horizon dense model and MoVA architecture, extending local LLM inference coverage in the popular C/C++ inference framework.

The author notes that developers are already moving away from vLLM and llama.cpp to build custom inference engines from scratch for AMD GPUs, because general-purpose engines are only tapping about 200 GB of a 600 GB memory bandwidth budget. As AI-assisted coding becomes widespread, projects like these will proliferate, ushering in the most egalitarian era in software development.

ggerganov announced llama.cpp/Llama v0.6.0, adding Clef text+vision support, high-quality Qwen3.8-Flash-Next support, major Metal performance improvements, a new `llama_batch_ext` API, and a refreshed website for the local AI menu-bar app.