标签
一位用户从 Ling-3.0-tiny-UBTree 中提取了纯 DFlash 草稿模型部分（移除了 ubtree_selector 张量），使其能够在未经修改的主线版 llama.cpp 上运行。据其报告，散文生成速度提升了 8%，Python 代码生成速度提升了 61%，转换后的 GGUF 文件及转换流程已发布在 Hugging Face 上。
一场 llama.cpp 拉取请求讨论，内容涉及提升 AMD R9700 GPU 上的 strata 解码性能，并提及 ggml/llama.cpp 这一 C/C++ 大语言模型推理项目。
Opposide 推出可在 Android 手机本地运行的 GUI 智能体：使用 4-bit 量化的 GUI-Owl 1.5 2B 模型（基于 Qwen3-VL，由 Alibaba Mobile-Agent 团队出品），通过 llama.cpp 在设备上直接读屏并操作任意应用，无需服务器。通过裁剪状态栏、丢弃平坦背景图像 token 等优化，Mac M2 CPU 上单步耗时从 10.6 秒降至 7.3 秒，且在 36 屏测试集上精度不降。
AbliteratedOutTheBox 是一个 llama.cpp 分支，可在推理时对任意加载的模型实时执行 abliteration（去除对齐/拒绝机制），无需微调、无需额外文件，也不占用额外显存。
对10个AI编程智能体进行实测基准测试，以无头模式在本地Qwen3.5-4B模型上运行五个编程任务。结果显示Pi、goose和Crush完成最快，而Codex CLI因API与本地环境不兼容而完全失败。
一位用户报告称，在 Linux 下运行本地 LLM 时，RTX 5090 笔记本 GPU 会因 NVIDIA Xid 8 错误而挂起。问题指向一个 llama.cpp 的 issue，其中禁用 CUDA graphs（GGML_CUDA_DISABLE_GRAPHS=1）作为变通方案，但会严重降低性能，目前尚无修复方案。
ISTA-DASLab 发布/更新了 Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF 模型仓库，提供可在 llama.cpp、vLLM、Ollama、LM Studio 等本地环境中运行的量化编码模型及部署说明。
一位用户使用 Atomic Chat 的 Q4 GGUF 构建，通过 llama.cpp RPC 将 5600 亿参数的 Ling 3.1 Flash（25B 激活参数）MoE 模型分布在四台 DGX Spark 上加载运行，因为当时没有官方的 FP4 vLLM 构建版本。与 Ling 3.0 Flash 124B 的性能对比测试仍在等待中。
一份社区指南：使用 ple_fp8_pack.py 将 safetensors 打包为 GGUF 边车文件，以完整的 FP8 n-gram 表（PLE）运行 Qwen 3.8 Flash Next，替代大幅量化版本。结果输出质量明显提升，且没有速度损失。
用户分享了基准测试结果：在 Strata 中将 --adapt-every 参数从 1 提升到 6 后，多个 Qwen 3.8 Flash Next 提示词的 token 生成速度提升了 9-55%，其中长上下文代码描述场景的提升幅度最大。
一篇适合初学者的 Reddit 指南，分享了通过 llama.cpp 使用开源 Qwen 3.6 27B 模型可以构建的 10 种项目，包括自定义应用、聊天前端、ReAct 循环、MCP 工具、子智能体和流水线运行器。
一位 Reddit 用户发布了 PS5LM 的分支，使 llama.cpp 能在越狱 PS5 上原生运行并利用 GPU 和更多内存，从而在本地运行 Qwen3.8-27B 等大型模型，速度超过每秒 100 个词元。
腾讯混元团队成员公开了 Hy4 Preview（770B 参数 MoE）的极致量化方案，通过 STQ1_0 编码与混合精度分配将约 1.5TB 权重压缩至 214 GiB，并在 llama.cpp 中实现接近 IQ1_M 的推理速度。
一位社区成员对 Ninfer6000（针对 RTX Pro 6000 Blackwell 和 Qwen3.8-Flash-Next 调优的 Ninfer 分支）与 vLLM 和 llama.cpp 进行了基准测试，发现其解码速度约为 vLLM 的 1.6 倍、llama.cpp 的 2.2 倍，准确率几乎相同；但他表示，在实际使用中，工具调用存在严重的格式错误，导致其无法正常使用，因此仍继续使用 vLLM。
作者通过修补 llama.cpp，在 2x RTX 4060 张量并行基础上把 DFlash2 草稿模型经 RPC 卸载到 AMD Strix 设备，实现混合 Nvidia+AMD 硬件下上下文从 150k 提升到 195k 且不损失性能，并附上了可复现的构建补丁与 PR 合并步骤。
AtomicChat 发布了 inclusionAI Ling 3.1 flash 的 GGUF 量化版本，采用其自研的 Atomic Dynamic 布局与公开校准语料，覆盖从 Q8_0 到实验性 1-bit 的多种量化档位，可在 llama.cpp 上本地运行。
一个关于 Strata 模型实际缺点的社区讨论，对比其在 agentic 工作负载中与 Qwen 27B 及其他量化模型在 llama.cpp 上的表现，关于质量损失与速度提升的报告褒贬不一。
AnythingLLM Desktop 正在用 AMD 的开源 Lemonade 服务器（运行 llama.cpp）替换其内置的 Ollama 引擎，旨在实现更快的更新、直接从 Hugging Face 下载 GGUF 文件，以及更广泛的硬件支持，包括 Vulkan、CUDA、Metal 和 NPU 加速。
一位用户分享了如何使用完全本地部署的 AI 技术栈为 40 名员工（其中 10 名开发者）提供服务：该技术栈由一台配备 4 张 RTX 6000 Blackwell MaxQ GPU（384GB 显存）的 4U 服务器驱动，通过 vLLM 运行 DeepSeek V4 Flash，通过 llama.cpp 运行 Qwen 3.8 27B 和 K2-Horizon 7B，并结合 n8n 自动化、OpenWebUI、Whisper/Vexa AI 的 Teams 会议转录功能，以及用于营销的 ComfyUI。
作者将上周的 MoE 专家按需从磁盘流式加载的方案接入 llama.cpp 的 WebGPU 后端，使 80B MoE 模型（Qwen3-Next，48GB GGUF）也能在 Chrome 标签页中运行，无需为每个模型手写引擎。该方案新增了 ggml-webgpu 的缓冲类型、slot 映射的 MUL_MAT_ID 着色器和驻留逻辑，实测在 M4 Pro MacBook 上以 2.9 tok/s 解码 80B 模型，较小模型可达 22 tok/s。