标签
用户使用 llama.cpp 和量化（quants）在本地测试了 Nemotron 3.5 Lightning，发现速度和智能体工具调用表现良好，但就模型大小而言，编码输出低于预期。
作者对 DeepSeek V4 0731 进行量化，修复了会导致基线偏差的 FP8 降转换问题，并在 8× RTX 5090 上对 38 个量化文件进行基准测试，展示了依赖 GPU 的结果和基于文件大小的比较。
一位爱好者描述了使用 Intel N100 主板和翻新 RTX 5060 Ti 构建低功耗 llama.cpp 服务器的过程，并分享了性能数据、功耗和模型选择。
一位用户报告称，在 Llama-CPP 中使用并行子代理时，解码性能很好，但单个代理的 prefill（例如处理网络搜索）会使所有其他代理停滞不前，并请求调优建议。
一位用户分享了在 llama.cpp 上使用 OpenCode 对 Muse Glimmer（通过 Unsloth 的 Q4 量化）进行本地测试，指出其性能低于 Qwen3.6 27B，但工具调用可靠。
在 RTX 5090 上对 unsloth 的 Muse Glimmer 30B 进行基准测试，采用推测解码，使用 DFlash 草稿模型和基于 GPU 的 argmax PR，最高可达 253 t/s，不过该 PR 仍是草稿状态。
DiffusionGemma 技术报告已在 arXiv 上发布，目前正在推进 llama.cpp 的拉取请求，以便在 VRAM 有限的情况下实现更快的本地推理。
用户报告称，30B 参数的 Muse Glimmer 使用 Q4_K_XL 量化和 DFlash，在单张 RTX 3090 上即可运行，并支持完整的 256k 上下文，速度达到 64-124 tok/s，且长上下文检索完美，与同类模型不同。
有用户报告称，在单个 RTX 3090 上，使用基于 Qwen 的 35B A3B 模型（占用 17 GB 显存），配合 BeeLlama.cpp 分支中的 KVarN 4-bit KV 缓存量化，成功运行了 100 万 token 的上下文，并从文本不同位置提取出 7 根针。
Meta 超级智能实验室发布了 Muse Glimmer 30B 的 GGUF 量化格式，用于本地推理。该模型是一个蒸馏因果语言模型，配备感知编码器，可处理自主智能体任务、工具使用、多模态输入，并能在消费级硬件上实现故障恢复。
介绍了VectraYX-Vision-1B，这是一个面向西班牙语/拉丁美洲网络安全的亚20亿参数视觉语言模型，通过MLP将冻结的SigLIP编码器与西班牙语解码器耦合；然而，尽管流水线功能完全正常，它却报告了近乎为零的视觉基础能力，并提供了开源权重和修复计划。
一项本地实验，在代码维护任务上比较 Qwen 35B-A3B MoE 和 Qwen 27B dense，发现 MoE 模型速度快约 3.9 倍，且质量差距比预期更小。
一位用户分享了他们在 RTX 5090 上运行 Qwen 3.6 27B 的 llama.cpp 服务器配置，达到了 80-100 t/s 的速度，并向社区询问其他设置和技巧。
llama.cpp 的一个 PR 提议将 Intel Battlemage 上的量化 KV 解码从 VEC 切换到 TILE SYCL 内核，据报道在 118K 上下文下解码速度提升最高约 169%。该 PR 目前处于开放状态，存在一些注意事项，且独立验证有限。
一个 llama.cpp 拉取请求为 Q2_0 × Q8_0 点积添加了 x86 VNNI 实现，在 Bonsai 模型上实现了 3.0–3.6 倍的纯 CPU 加速，内核级逐位精确，且 token 一致性达 99.2%。
使用双 RTX 3090 配置的用户发现，llama.cpp 的 `--split-mode tensor` 会在 CPU 上运行提示处理（约 400 t/s），而切换到 `--split-mode layer` 则可解锁 GPU 提示处理，速度超过 1600 t/s，且 token 生成速度仅略有下降。
A developer benchmarks Qwen3.6-35B-A3B Q6 on an RTX 3090, showing that offloading eight MoE expert layers to CPU and increasing batch sizes improves prompt processing by 2.36× (564→1330 tok/s) with no decode speed regression, using evolutionary search to find the tuning config.
详细测试和调优，以在RTX 3090上优化GGUF格式的DeepSeek-V4-Flash-0731，通过不同的量化和加载参数，在128K上下文下达到约15 tok/s。
Qwen3-TTS 语音克隆已合并到 llama.cpp 主线，通过 llama-tts 二进制文件，利用短参考音频即可在本地实现文本转语音和语音克隆，支持多种语言。目前仍有限制，包括仅支持 Base 模型，且尚无服务器端点。
Liquid AI 发布了 LFM2.5-2.6B，这是一个 2.69B 参数模型，支持 128K 上下文和工具调用，专为多步骤智能体工作流优化，可在手机上以 30 tok/s 运行，Q4_K_M GGUF 文件约 1.67GB。不过，与更大的模型相比，其在编码和知识密集型任务上仍然较弱。