llama-cpp

A community discussion about the real-world downsides of the Strata model, comparing its performance in agentic workloads against Qwen 27B and other quantized models on llama.cpp, with mixed reports on quality loss versus speed gains.

AnythingLLM Desktop is replacing its bundled Ollama engine with AMD's open-source Lemonade server running llama.cpp, aiming for faster updates, direct GGUF downloads from Hugging Face, and broader hardware support including Vulkan, CUDA, Metal, and NPU acceleration.

A user shares how they serve 40 employees (10 developers) with a fully local AI stack powered by a 4U server with 4x RTX 6000 Blackwell MaxQ GPUs (384GB VRAM), running DeepSeek V4 Flash via vLLM, Qwen 3.8 27B and K2-Horizon 7B via llama.cpp, plus n8n automation, OpenWebUI, Whisper/Vexa AI Teams transcription, and ComfyUI for marketing.

作者将上周的 MoE 专家按需从磁盘流式加载的方案接入 llama.cpp 的 WebGPU 后端，使 80B MoE 模型（Qwen3-Next，48GB GGUF）也能在 Chrome 标签页中运行，无需为每个模型手写引擎。该方案新增了 ggml-webgpu 的缓冲类型、slot 映射的 MUL_MAT_ID 着色器和驻留逻辑，实测在 M4 Pro MacBook 上以 2.9 tok/s 解码 80B 模型，较小模型可达 22 tok/s。

A user asks why Multi-Token Prediction (MTP) speculative decoding in llama.cpp yields lower throughput (~15 tok/s) than standard decode (~30 tok/s) for Ornith 1.5 9B, despite a high 0.95 draft acceptance rate, noting halved memory bandwidth and GPU utilization.

rdna35-perf branch of strix-llama.cpp 为 Strix Halo (Radeon 8060S) 带来新的 RDNA3.5 flash attention 与 GEMM 内核优化，prompt processing 比 Vulkan 快 21–54%，在 128k 长上下文下比原版 ROCm 最快达 2.7 倍，且输出质量与原版 ROCm 基本一致。

Developer helped speed up ROCmFPX, a llama.cpp fork, on AMD Strix Halo (Ryzen AI Max+ 395), achieving major prefill and decode speedups with 16 merged PRs and improved quantization accuracy.

Recall is an open-source, local semantic file search tool for Linux built in Rust with GTK 4, using EmbeddingGemma 2 via llama.cpp to index PDFs, Office files, media and more for content-based queries with no network required after model download.

ROCmFPX 的融合 HC norm 内核通过在寄存器中直接写出 Q8_1 副本，省去了 MMQ 重复量化 335MB 数据的开销，在 2.3%–3.6% 的 pp8192 性能提升下保持位级一致。

ROCmFPX 更新了融合 HC norm 的匹配器，使其能识别 qwen4exp 将 REPEAT/MUL/ADD 合并为单一 op 的组合，从而将 HC 内核每 2048 token 耗时从 416 ms 降至 175 ms。相关修复还解决了导致 llama-perplexity 崩溃的 xn 别名问题，并在 BF16 拷贝路径上移除了变慢的 Q8_0 MMB down proj。

ROCmFPX 解决了预填充阶段 MMQ 阻塞问题，通过寄存器路径将 Q4_0_ROCMI4 权重反量化为 BF16 WMMA GEMM，在 Qwen3.8 Flash Next HC-Q8 上实现 ub 512 约 13%、ub 1024 约 23% 的吞吐提升，稀疏专家处理时间从约 2.3 秒降至 1.8 秒。

A developer showcases a custom `--moe-direct-io` feature for llama.cpp that achieves 10–15x speedup (20–24 tok/s) running the 125B MoE Qwen3.5-Flash Next (IQ2_XS, 68GB) on just an RTX 3060 12GB with 16GB RAM, while keeping output bit-exact to stock.

Liquid AI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本，专为边缘 AI 和端侧部署设计，并包含通过量化感知蒸馏（QAD）训练的 Q4_0 检查点以恢复量化损失的精度。

HauhauCS 的无审查 Qwen3.8-27B (GGUF) 在 NInfer (C++/CUDA 推理引擎) 上实现 262K 全原生上下文窗口与约 130 tok/s 解码速度，困惑度与官方模型相差不到 1.3%，视觉与工具调用功能保持正常。

作者在同一块 RTX 4090 上对四个开源决策模型（Laya、d1 3B、Clef-Flash 9B、Lev 4B）做了逐词推理基准测试，Laya 以每词 3.9ms 的延迟成为最快，Lev 准确率最高但慢 13 倍。

发布了 pi-automode-classifier 插件，为 Pi coding agent 提供命令自动审批功能：内置规则先判断常见命令，未知命令交由 Jev（托管）或 Kev/Laya（本地 llama.cpp 运行）评估风险概率，超过阈值才请求人工确认。

Underdog AI 发布了 Saluki 27B——Qwen3.8-27B 的 2-bit 量化版本，文件仅 7.89 GB，可在 16GB 笔记本上通过标准 llama.cpp 运行，在其自建的 Underdog Bench 工具调用测试中取得 88/120 的成绩，保留了原模型约 96% 的性能。

ConwayResearch 发布 Underdog-Saluki-27B-1.0，一个基于 Qwen3.8-27B 的 IQ2 量化模型，可在不到 8GB 内存中运行，同时保留约 96% 的工具调用能力，并支持可选视觉扩展，兼容标准 llama.cpp。

A pull request to llama.cpp adds support for the K2 Horizon dense model and MoVA architecture, extending local LLM inference coverage in the popular C/C++ inference framework.

The author notes that developers are already moving away from vLLM and llama.cpp to build custom inference engines from scratch for AMD GPUs, because general-purpose engines are only tapping about 200 GB of a 600 GB memory bandwidth budget. As AI-assisted coding becomes widespread, projects like these will proliferate, ushering in the most egalitarian era in software development.