标签
一位用户询问，为什么对于 Ornith 1.5 9B，llama.cpp 中的多 Token 预测（MTP）推测解码虽然草稿接受率高达 0.95，吞吐量却低于标准解码（约 15 tok/s，而标准解码约为 30 tok/s），并指出内存带宽和 GPU 利用率均减半。
strix-llama.cpp 的 rdna35-perf 分支为 Strix Halo（Radeon 8060S）带来新的 RDNA3.5 闪存注意力与 GEMM 内核优化，提示词处理速度比 Vulkan 快 21–54%，在 128k 长上下文下最快可达原版 ROCm 的 2.7 倍，且输出质量与原版 ROCm 基本一致。
开发者帮助优化了 llama.cpp 的分支 ROCmFPX 在 AMD Strix Halo（Ryzen AI Max+ 395）上的运行速度，通过合并 16 个 PR，大幅提升了预填充和解码速度，并提高了量化精度。
Recall 是一款开源的 Linux 本地语义文件搜索工具，使用 Rust 和 GTK 4 构建，通过 llama.cpp 运行 EmbeddingGemma 2，为 PDF、Office 文件、媒体文件等建立索引，支持基于内容的查询，模型下载后无需网络连接。
ROCmFPX 的融合 HC norm 内核通过在寄存器中直接写出 Q8_1 副本，省去了 MMQ 重复量化 335MB 数据的开销，在 2.3%–3.6% 的 pp8192 性能提升下保持位级一致。
ROCmFPX 更新了融合 HC norm 的匹配器，使其能识别 qwen4exp 将 REPEAT/MUL/ADD 合并为单一 op 的组合，从而将 HC 内核每 2048 token 的耗时从 416 ms 降至 175 ms。相关修复还解决了导致 llama-perplexity 崩溃的 xn 别名问题，并在 BF16 拷贝路径上移除了变慢的 Q8_0 MMB down proj。
ROCmFPX 解决了预填充阶段 MMQ 阻塞问题，通过寄存器路径将 Q4_0_ROCMI4 权重反量化为 BF16 WMMA GEMM，在 Qwen3.8 Flash Next HC-Q8 上实现 ub 512 约 13%、ub 1024 约 23% 的吞吐提升，稀疏专家处理时间从约 2.3 秒降至 1.8 秒。
一位开发者展示了一个为 llama.cpp 定制的 `--moe-direct-io` 功能，在仅配备 12GB 显存的 RTX 3060 和 16GB 内存的环境下运行 125B MoE 模型 Qwen3.5-Flash Next（IQ2_XS 量化，68GB），实现了 10–15 倍的加速（20–24 tok/s），且输出结果与官方版本逐位一致（bit-exact）。
Liquid AI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本，专为边缘 AI 和端侧部署设计，并包含通过量化感知蒸馏（QAD）训练的 Q4_0 检查点，以恢复量化带来的精度损失。
HauhauCS 的无审查 Qwen3.8-27B (GGUF) 在 NInfer (C++/CUDA 推理引擎) 上实现 262K 全原生上下文窗口与约 130 tok/s 解码速度，困惑度与官方模型相差不到 1.3%，视觉与工具调用功能保持正常。
作者在同一块 RTX 4090 上对四个开源决策模型（Laya、d1 3B、Clef-Flash 9B、Lev 4B）进行了逐词推理基准测试，Laya 以每词 3.9ms 的延迟成为最快，Lev 准确率最高但慢了 13 倍。
发布了 pi-automode-classifier 插件，为 Pi 编程助手提供命令自动审批功能：内置规则先判断常见命令，未知命令交由 Jev（托管）或 Kev/Laya（本地 llama.cpp 运行）评估风险概率，超过阈值才请求人工确认。
Underdog AI 发布了 Saluki 27B——Qwen3.8-27B 的 2-bit 量化版本，文件仅 7.89 GB，可在 16GB 笔记本上通过标准 llama.cpp 运行，在其自建的 Underdog Bench 工具调用测试中取得 88/120 的成绩，保留了原模型约 96% 的性能。
ConwayResearch 发布 Underdog-Saluki-27B-1.0，一个基于 Qwen3.8-27B 的 IQ2 量化模型，可在不到 8GB 内存中运行，同时保留约 96% 的工具调用能力，并支持可选视觉扩展，兼容标准 llama.cpp。
该拉取请求为 llama.cpp 新增了 K2 Horizon dense 模型与 MoVA 架构的支持，扩展了这一流行 C/C++ 推理框架的本地大模型推理覆盖范围。
作者指出已有开发者脱离vLLM和llama.cpp，从零编写针对AMD显卡的专用推理引擎，原因是通用引擎仅利用了约200GB/600GB的显存带宽。随着AI辅助编程的普及，类似项目将大量涌现，软件开发进入更平等的时代。
ggerganov 宣布了 llama.cpp/Llama v0.6.0 版本，新增 Clef 文本+视觉支持、高质量的 Qwen3.8-Flash-Next 支持、Metal 性能大幅提升、全新的 `llama_batch_ext` API，以及本地 AI 菜单栏应用网站的全新改版。
Observer 是一款开源应用，可让本地 LLM 监控你的屏幕并发送通知。现在它支持免安装的浏览器内模型下载（通过 transformers.js 运行 Qwen3.5-0.8b），同时提供基于 llama.cpp 的桌面版本。这次更新让本地 AI 屏幕监控在大约 10 秒内即可上手，无需任何配置。
llama.cpp 团队和 Hugging Face 推出了 Llama（llama.app）——一款面向 Mac 和 Windows 的小型开源菜单栏/系统托盘应用，可在本地运行开源模型，并在 localhost:9931/v1 上提供兼容 OpenAI 的 API。
Infermeld 是一个实验性的开源 Linux 辅助工具包（v0.1.0），基于 llama.cpp 在混合 AMD 与 NVIDIA GPU 上运行同一个 GGUF 模型，内置设备选择、构建说明、预检和热保护机制。已在 RX 6900 XT + RTX 3080 上使用 Qwen3.6-35B-A3B 进行测试，维护者正在寻找其他硬件组合进行复现。