qwen3-flash-next

有用户反映在 Mac 上使用 Qwen3.8-Flash-Next 模型时，遇到了模型幻觉和推理异常的问题，同时报告了 AppImage 安装问题以及从 HuggingFace 拉取张量元数据时的异常，尽管量化程度已经很高。

文章报道，Qwen3.8-Flash-Next 模型在配置了 4 个 AMD R9700 GPU 的系统上，使用优化的 vLLM 和自定义 Docker 镜像，实现了每秒 120 个 token 的生成速度和每秒 12k 个 token 的预填充速度。

对 Qwen3.8-Flash-Next 模型的支持已合并至 llama.cpp，增强了其 C/C++ 本地大语言模型推理的能力。