在4x3090上运行Qwen 3.8 Flash Next与27B相比是否值得?

Reddit r/LocalLLaMA 新闻

摘要

用户正在寻求建议:在多GPU上运行Qwen 3.8 Flash Next是否优于使用更大的27B模型,考虑到性能问题和模型犹豫不决。

有人能告诉我,在4x3090上运行Qwen 3.8 Flash Next是否比27B更值得吗?27B性能不错,但问题在于它犹豫不决。我看着它'几乎'要解决问题,却又花上2小时'让我再检查一下/证明一下',这让我很沮丧。看起来Flash Next的4位量化版本应该能与SSD中的ngrams配合使用,并且速度会快很多,但听起来架构还不太成熟。有比我更聪明、更有耐心的人能告诉我该怎么办吗?谢谢。
查看原文

相似文章

我不明白 qwen 3.8 flash next 有什么好炒作的

Reddit r/LocalLLaMA

一位社区成员报告称,在编写俄罗斯方块游戏的任务中,Qwen 3.8 Flash Next(在 4 张 RTX 3090 上运行 UD-Q4_K_XL 量化版)的表现不如 Qwen 3.8 27B Q8。尽管生成速度更快,它仍产生了多处 bug,且未能在 Strata 中交付可玩的 .exe 文件,这让围绕这款较小模型的热捧受到质疑。

双RTX 3090 + EPYC主机运行qwen3.8-flash-next,速度约38令牌/秒

Reddit r/LocalLLaMA

用户描述了一个硬件配置,包括双RTX 3090显卡和AMD EPYC CPU,用于运行Qwen3-Flash-Next模型(使用llama.cpp),单流推理速度达到38令牌/秒。用户寻求建议,是否应该添加第三块GPU或升级CPU以提高性能,特别是对于运行多个并行代理。