Qwen 4 系列模型减少思考的可能性有多大?
摘要
该推文猜测即将发布的 Qwen 4 系列模型是否会减少思考(thinking)token 的消耗,作者认为在保持或提升智能的同时少思考是最大的升级方向。
希望 Qwen4 能在圣诞节前发布……最近有不少相关消息,但还没有确切的发布日期。我现在运行 qwen flash next 3.8 大约每秒 28 个 token,说实话,其中大部分都花在了思考上。不管硬件或推理技术如何,在保持相同甚至更高智能水平的同时减少思考量,这都是我能想到的最大的升级。
相似文章
不流行观点:Qwen 3.8 27b 不是过度思考者
文章认为,Qwen 3.8 27b 增加的推理令牌使用量与其他中国AI模型如 GLM 和 DeepSeek 相似,用户的挫败感源于硬件限制。它建议使用推理预算可以保持性能优于 Qwen 3.6。
LessThink-Qwen3-4B:同一模型,大幅减少思考 [P]
作者对Qwen3-4B进行了后训练,以减少推理中44%的令牌使用,同时保持其知识和风格,训练在单个GPU上完成。
Telperion 推出新模型:Qwen3.8-27B-MLA 和 Qwen3.8-27B-GLA-g2。KV 缓存缩小至原来的 1/4,推理更智能、更高效。
Telperion 发布了 Qwen3.8-27B 的潜在注意力(MLA 与 GLA-g2)变体,将 KV cache 压缩 4 倍,在消费级硬件上实现接近 4 倍的最大上下文或服务器端 4 倍并发,并在 SWE-bench Verified 上取得 +6.58% 的性能提升,同时减少约 20% 的推理 token 消耗。
@_akhaliq: bottlecapai/ThinkingCap-Qwen3.6-27B —— Qwen3.6-27B 具备平均减少50%思考令牌、最佳情况减少90%以上的能力
bottlecapai 发布了 ThinkingCap-Qwen3.6-27B,这是 Qwen3.6-27B 的微调版本,平均减少50%的思考令牌,最佳情况下减少90%,提升了效率。
Qwen3.8-27B 不同思维层级
Qwen3.8-27B 模型引入了不同的思维层级,与之前的版本如 Qwen 3.7 plus 和 Qwen3.6-27B 相比,显示出推理能力的提升。