Hy4-Flash 很棒,终于有模型能与 DSv4-Vision-Exp 和 Qwen3.8-27B-Uncensored 竞争了!
摘要
一位本地 LLM 爱好者报告称,Hy4-Flash(Q3_K GGUF 量化版)在其基准测试中表现强劲,可与 DSv4-Vision-Exp 竞争,并超越了 Qwen3.8-27B-Uncensored,同时分享了在双 RTX 3090 配置上的 llama-server 配置和性能数据。
相似文章
我不明白 qwen 3.8 flash next 有什么好炒作的
一位社区成员报告称,在编写俄罗斯方块游戏的任务中,Qwen 3.8 Flash Next(在 4 张 RTX 3090 上运行 UD-Q4_K_XL 量化版)的表现不如 Qwen 3.8 27B Q8。尽管生成速度更快,它仍产生了多处 bug,且未能在 Strata 中交付可玩的 .exe 文件,这让围绕这款较小模型的热捧受到质疑。
我在llama.cpp中测试了最新合并的DFlash在Qwen 3.6 27B本地AI上的表现。36K上下文速度提升4.44倍。以下是我的发现(RTX 6000 PRO)。
一位用户在llama.cpp中测试了新合并的DFlash推测解码方法(Qwen 3.6 27B),在36K上下文下相比基准实现速度提升高达4.44倍,并附有详细的排行榜和质量测试。
Qwen3.8-Flash-Next (UD-IQ4_XS) 在 2x RTX 3060 + 7800X3D 上的基准测试:从初始 36 tps 预填充到 400 tps 及其他基准测试(-sm tensor 陷阱)+ VRAM/RAM 使用情况
本文对 llama.cpp 和 ik_llama.cpp 在双 RTX 3060 硬件上运行 Qwen3.8-Flash-Next 模型进行基准测试,展示了优化 tensor splitting 和 ubatch 设置可以将预填充速度从 36 t/s 大幅提升至 400 t/s,并对比了 RAM 使用情况。
在16GB显存的RTX 4080上运行Qwen3.8-27B的提速指南
本指南说明如何配置llama.cpp的DFlash2推测解码,以在配备16GB显存的RTX 4080 GPU上实现Qwen3.8-27B模型最高1.72倍的推理速度提升。
Hy4-flash 初印象:它的编程品味简直太棒了
一位开发者分享了使用 Hy4-flash 模型进行 Python 编程的初步体验,称赞其输出简洁、条理清晰,设计选择合理,优于 DeepSeek 1017 和 Qwen3.8-Flash,同时指出其在 OpenRouter 上的使用成本极低。