Qwen 3.6 27B 在代理任务上完全失败

Reddit r/LocalLLaMA 新闻

摘要

一位用户报告称,Qwen 3.6 27B 虽然在单次提示任务中表现强劲,但在代理任务中频繁出错,导致其不得不回退到 Qwen 3.5 122B。

我使用 Qwen 3.5 122B 的 4 位量化版已经有一段时间了,最近在 Llama.cpp 性能与 VLLM 相当后,我开始使用 5 位量化版。我还多次尝试过使用 8 位和 16 位量化的 Qwen 3.6 27B,因为很多人声称 27B 比 122B 更好。确实,在单次提示上它表现更好。它能生成非常令人印象深刻的演示 HTML 页面。它生成的内容长度远超 3.5 系列的任何模型。然而,在代理任务上,它完全崩溃了。它不断出错,并且不遵循指令。我无法让这个模型不出错。大约每四轮对话,它就会做一些完全无脑的事情。我是唯一注意到这一点的人吗?在再次尝试让 27B 工作失败后,我又回到了使用 122B。环境是 Llama.cpp(从 Git 每晚编译),运行在 RTX 6000 上。
查看原文

相似文章

Qwen 35b a3b 令我惊喜

Reddit r/LocalLLaMA

用户报告了使用 Qwen 35b a3b 进行代理编码任务的积极体验,指出在其使用场景中它优于 Gemma4 26b,并且在演示/数据分析方面表现出色,尤其是在代理模式而非聊天模式下。

Qwen 3.8 27b 即使在 Q3_xxs 下也很强大

Reddit r/LocalLLaMA

用户发现 Qwen 3.8 27b 在 Q3 量化下对编码任务非常高效,推理速度快,超越了之前的模型,尽管在日常对话中存在一些小问题。

Qwen 3.8 27B 表现优异,但默认启用过度推理模式

Simon Willison's Blog

Qwen 3.8 27B 是阿里巴巴通义千问实验室推出的一款强大的开源270亿参数多模态大语言模型。它在基准测试中表现突出,但被批评默认启用过度推理模式,这在消费级硬件上拖慢了运行速度。