Llama.cpp B9406 MTP mmproj 修复

Reddit r/LocalLLaMA 工具

摘要

Llama.cpp 版本 B9406 修复了在使用 MTP 和 MoE 视觉模型(例如 Qwen3.6-35B-A3B)时出现的崩溃问题 (GGML_ASSERT)。

[B9406](https://github.com/ggml-org/llama.cpp/releases/tag/b9406) 等了很久了。正在编译。如果测试了请汇报结果!>GGML\\_ASSERT(i01 >= 0 && i01 < ne01) 崩溃发生在 get\\_rows / mtmd\\_helper\\_decode\\_image\\_chunk 中,当使用 MTP + MoE 模型 + 视觉 (Qwen3.6-35B-A3B) 时。
查看原文

相似文章

MTP 已发布 Qwen3.8-Flash-Next-GGUF

Reddit r/LocalLLaMA

Qwen3.8-Flash-Next-GGUF 模型的 MTP 已发布,并提供了与 llama.cpp、vLLM 和 Ollama 等推理工具集成的详细部署说明。

qwen4exp 在 llama.cpp 中的修复

Reddit r/LocalLLaMA

本文报道了 llama.cpp 中针对 Qwen Flash Next 模型的最近错误修复和更新,建议用户频繁更新其构建版本。