Hy4-Flash 很棒,终于有模型能与 DSv4-Vision-Exp 和 Qwen3.8-27B-Uncensored 竞争了!

Reddit r/LocalLLaMA 模型

摘要

一位本地 LLM 爱好者报告称,Hy4-Flash(Q3_K GGUF 量化版)在其基准测试中表现强劲,可与 DSv4-Vision-Exp 竞争,并超越了 Qwen3.8-27B-Uncensored,同时分享了在双 RTX 3090 配置上的 llama-server 配置和性能数据。

更新 UTC+0 01:24:随着更多评测的进行,Qwen3.8-27B Uncensored 已被甩在身后。我想,它将成为我的首选模型。尽管速度较慢,但它能用更少的 token 完成回答。我已经在自己的基准测试上跑过它,测试还远未完成,但它正朝着登顶的方向迈进:https://beta.locallm.top/home?apples_to_apples=1&include_unavailable=0&template_limit=15 我的 2xRTX3090 + 128 GB DDR4 内存配置所用的预设文件片段(用于 llama-server 路由模式):[Hy4-Flash-Q3] load-on-startup = true hf = AngelSlim/Hy4-flash-GGUF:Q3_K ctx-size = 131072 ctk = q8_0 ctv = q8_0 no-mmproj-offload = true fit = off cmoe = true moe-cache-mib = 33768 load-mode = none 对应的 llama-server 命令为 ./build/bin/llama-server -hf AngelSlim/Hy4-flash-GGUF:Q3_K --ctx-size 131072 -ctk q8_0 -ctv q8_0 --no-mmproj-offload -cmoe --moe-cache-mib 33768 -load-mode none 如果你好奇 --moe-cache-mib 33768 是什么,它就是专家流式加载(llama.cpp 的一项功能,我猜灵感来自 Strata)。我测得 PP 约为 60-65 tps,TG 约为 20-24 tps。Nov 19 00:56:05 builder llama-server[1270042]: [54519] 397.49.817.617 I slot print_timing: id 0 | task 442246 | 提示词处理,n_tokens = 4091, progress = 1.00, t = 63.38 s / 每秒 64.54 个 token Nov 19 00:56:10 builder llama-server[1270042]: [54519] 397.54.518.918 I slot print_timing: id 0 | task 442246 | n_gen = 100, tg = 21.95 t/s, tg_3s = 22.18 t/s 我使用的是 https://huggingface.co/AngelSlim/Hy4-flash-GGUF 的 Q3_K 量化版本,以及 llama.cpp 的 PR https://github.com/ggml-org/llama.cpp/pull/32517,它已顺利变基到 master 分支。
查看原文

相似文章

我不明白 qwen 3.8 flash next 有什么好炒作的

Reddit r/LocalLLaMA

一位社区成员报告称,在编写俄罗斯方块游戏的任务中,Qwen 3.8 Flash Next(在 4 张 RTX 3090 上运行 UD-Q4_K_XL 量化版)的表现不如 Qwen 3.8 27B Q8。尽管生成速度更快,它仍产生了多处 bug,且未能在 Strata 中交付可玩的 .exe 文件,这让围绕这款较小模型的热捧受到质疑。

Hy4-flash 初印象:它的编程品味简直太棒了

Reddit r/LocalLLaMA

一位开发者分享了使用 Hy4-flash 模型进行 Python 编程的初步体验,称赞其输出简洁、条理清晰,设计选择合理,优于 DeepSeek 1017 和 Qwen3.8-Flash,同时指出其在 OpenRouter 上的使用成本极低。