qwen4exp 在 llama.cpp 中的修复
摘要
本文报道了 llama.cpp 中针对 Qwen Flash Next 模型的最近错误修复和更新，建议用户频繁更新其构建版本。
如果您正在使用 Qwen Flash Next，请确保经常更新您的构建版本。 https://preview.redd.it/zoq3j9gnjvmh1.jpg?width=900&format=pjpg&auto=webp&s=bb21bc405696df94fd5ce38c22f4ca6dc596135f 已合并 (由 ServeurpersoCom) https://github.com/ggml-org/llama.cpp/pull/27978 https://github.com/ggml-org/llama.cpp/pull/28011 https://github.com/ggml-org/llama.cpp/pull/28023 https://github.com/ggml-org/llama.cpp/pull/28123 已合并 (由 0cc4m) https://github.com/ggml-org/llama.cpp/pull/28032 进行中 (由 danielhanchen) 现已合并 https://github.com/ggml-org/llama.cpp/pull/27941 MTP 进行中 https://github.com/ggml-org/llama.cpp/pull/27836 更多进行中，例如 https://github.com/ggml-org/llama.cpp/pull/28136
相似文章
llama.cpp 已合并对 Qwen3.8-Flash-Next 的支持
对 Qwen3.8-Flash-Next 模型的支持已合并至 llama.cpp，增强了其 C/C++ 本地大语言模型推理的能力。
Qwen3.6 27B 在 vLLM 中的表现比在 llama.cpp 中更差
一名用户报告称，Qwen3.6-27B 模型在使用 llama.cpp 时比使用 vLLM 表现更好且更可靠，并指出尽管进行了大量配置，vLLM 仍出现工具调用错误和“被切除脑叶”的行为。
orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF
本文发布未经审查的 Qwen3.8-Flash-Next 模型的 GGUF 量化版本，这是 Qwen4 架构的混合专家模型预览版，专为支持视觉功能的 llama.cpp 设计，需要自定义构建以确保兼容性。
@ggerganov：如果你正在使用 Qwen3.8-27B + MTP，请务必升级到 DFlash 以获得额外加速：llama serve -hf ggml-org/Qwen3.8-27…
Georgi Gerganov 建议升级到 DFlash 投机解码，以加快 llama.cpp 中 Qwen3.8-27B 的推理速度，需要使用最新版 llama.cpp v0.6.0 以及 ggml-org/Qwen3.8-27B-GGUF 模型。
Llama.cpp B9406 MTP mmproj 修复
Llama.cpp 版本 B9406 修复了在使用 MTP 和 MoE 视觉模型（例如 Qwen3.6-35B-A3B）时出现的崩溃问题 (GGML_ASSERT)。