标签
一个针对 llama.cpp 的拉取请求在 mtmd（多模态）模块中添加了对 Nemotron 3.5 Transcribe 的支持，扩展了该库的音频转录能力。
一项实验利用可解释性视角分析 Qwen3.5-0.8B 为何会卡住并反复说「Wait」，发现在接近停止点的位置，与怀疑相关的特征占据主导；随后通过一次极小的权重编辑（仅涉及 0.016% 的权重），将「Wrong/Nope/Hmm」转化为「Verification/Completion/Result」，使 MATH-500 表现大幅提升；代码与数据已公开。
一个针对 llama.cpp 的 Pull Request 添加了对 Clover GPU/加速器后端的支持，扩展了该库在 LLM 推理方面的硬件兼容性。
Mistral 发布了“Le Chonk”（Mistral Large 4），这是一个拥有 1 万亿参数的超大模型，重点强调了对 llama.cpp 的支持以及 Hugging Face 上面向社区的友好功能。
Basalt（Strata 的一个分支）合入了新的 PR，搭配 IQ3_S 量化的 Qwen3.8 Flash Next，在单张 RTX 5080 和 64GB DDR5 内存的配置下创下了新的基准测试纪录：在实时 opencode 编程会话中，提示词处理速度达到 5500 token/秒，峰值生成速度高达 275 token/秒。
erusev 与 llama.cpp 团队合作开发了 Llama，一款可在 Mac 菜单栏运行开源模型的小型应用，并发布了 35 秒演示视频。
Liquid AI 发布 LFM3-1.7B 的 GGUF 版本，支持在 CPU/GPU 上本地推理，兼容 llama.cpp、Ollama、LM Studio 等工具，并提供经过量化感知蒸馏（QAD）的 Q4_0 检查点，以恢复量化损失的精度。
一位用户从 Ling-3.0-tiny-UBTree 中提取了纯 DFlash 草稿模型部分（移除了 ubtree_selector 张量），使其能够在未经修改的主线版 llama.cpp 上运行。据其报告，散文生成速度提升了 8%，Python 代码生成速度提升了 61%，转换后的 GGUF 文件及转换流程已发布在 Hugging Face 上。
一场 llama.cpp 拉取请求讨论，内容涉及提升 AMD R9700 GPU 上的 strata 解码性能，并提及 ggml/llama.cpp 这一 C/C++ 大语言模型推理项目。
Opposide 推出可在 Android 手机本地运行的 GUI 智能体：使用 4-bit 量化的 GUI-Owl 1.5 2B 模型（基于 Qwen3-VL，由 Alibaba Mobile-Agent 团队出品），通过 llama.cpp 在设备上直接读屏并操作任意应用，无需服务器。通过裁剪状态栏、丢弃平坦背景图像 token 等优化，Mac M2 CPU 上单步耗时从 10.6 秒降至 7.3 秒，且在 36 屏测试集上精度不降。
AbliteratedOutTheBox 是一个 llama.cpp 分支，可在推理时对任意加载的模型实时执行 abliteration（去除对齐/拒绝机制），无需微调、无需额外文件，也不占用额外显存。
对10个AI编程智能体进行实测基准测试，以无头模式在本地Qwen3.5-4B模型上运行五个编程任务。结果显示Pi、goose和Crush完成最快，而Codex CLI因API与本地环境不兼容而完全失败。
一位用户报告称，在 Linux 下运行本地 LLM 时，RTX 5090 笔记本 GPU 会因 NVIDIA Xid 8 错误而挂起。问题指向一个 llama.cpp 的 issue，其中禁用 CUDA graphs（GGML_CUDA_DISABLE_GRAPHS=1）作为变通方案，但会严重降低性能，目前尚无修复方案。
ISTA-DASLab 发布/更新了 Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF 模型仓库，提供可在 llama.cpp、vLLM、Ollama、LM Studio 等本地环境中运行的量化编码模型及部署说明。
一位用户使用 Atomic Chat 的 Q4 GGUF 构建，通过 llama.cpp RPC 将 5600 亿参数的 Ling 3.1 Flash（25B 激活参数）MoE 模型分布在四台 DGX Spark 上加载运行，因为当时没有官方的 FP4 vLLM 构建版本。与 Ling 3.0 Flash 124B 的性能对比测试仍在等待中。
一份社区指南：使用 ple_fp8_pack.py 将 safetensors 打包为 GGUF 边车文件，以完整的 FP8 n-gram 表（PLE）运行 Qwen 3.8 Flash Next，替代大幅量化版本。结果输出质量明显提升，且没有速度损失。
用户分享了基准测试结果：在 Strata 中将 --adapt-every 参数从 1 提升到 6 后，多个 Qwen 3.8 Flash Next 提示词的 token 生成速度提升了 9-55%，其中长上下文代码描述场景的提升幅度最大。
一篇适合初学者的 Reddit 指南，分享了通过 llama.cpp 使用开源 Qwen 3.6 27B 模型可以构建的 10 种项目，包括自定义应用、聊天前端、ReAct 循环、MCP 工具、子智能体和流水线运行器。
一位 Reddit 用户发布了 PS5LM 的分支，使 llama.cpp 能在越狱 PS5 上原生运行并利用 GPU 和更多内存，从而在本地运行 Qwen3.8-27B 等大型模型，速度超过每秒 100 个词元。
腾讯混元团队成员公开了 Hy4 Preview（770B 参数 MoE）的极致量化方案，通过 STQ1_0 编码与混合精度分配将约 1.5TB 权重压缩至 214 GiB，并在 llama.cpp 中实现接近 IQ1_M 的推理速度。