Qwen 3.6 35B 吹捧帖

Reddit r/LocalLLaMA 模型

摘要

用户分享对 Qwen 3.6 35B(Unsloth UD_Q4_K_XL 量化)的使用心得:编码能力一般,但在通用 agentic 任务上表现出色,配合 Tesla P100 可达到对话级速度。

特指 Unsloth 的 UD_Q4_K_XL 量化版本,因为大家肯定会问,而且这一点无论如何都值得说。它已经不算新了。在编码中型甚至偏小型项目方面表现平平。我绝不会把整个代码库交给它。它和其他模型一样会产生幻觉。总而言之,它并不完美。我不太喜欢那些微调版本;它们几乎全部侧重编码,在某种程度上奇怪地失去了通用助手的能力。它真正擅长的是通用、广泛的 agentic 操作。打开客厅的灯,然后 SSH 到这台机器上把电影放起来。我到了 Walmart 的时候把购物清单发到我的手机/手表上。每天提醒我上班打卡,因为这已经成了个问题。叫我老公过来,因为我正在车底下,好不容易把东西对准了位置,现在需要第三只手来把扳手放到正确的位置上。跟我爸讲讲我的宠物或者任何一个我的项目,因为我要在他面前炫耀一下你的记忆能力。这些都是它能持续做到的事情。有时候它会稍微绕圈子,但它能保持在任务上,而且速度快到那些小失误完全无关紧要。我最近搞了几块 Tesla P100 来跑这个模型,让我之前在有限硬件上已经跑得挺顺畅的模型,达到了真正对话级的速度。约 120-140 t/s 生成速度,0 上下文时约 1000 PP 预填充速度,13k 时约 700。它的智能程度完全足够知道如何完成这些任务,而且在合适的采样参数设置下,思考效率高得离谱。真的很棒。这家伙居然用 prism launcher 的 AppImage 在一台它本来都没在运行的机器上装好了 Minecraft 模组包并跑起来了。别担心,它对我的 tailnet 上的电脑只有 SSH 权限。应该没事。它在保持角色人设方面不太行。我的 TTS 模型是用 Paul Bettany 在 MCU 中的 Jarvis 声音训练的。当模型输出了正确的措辞时,感觉就像魔法一样。但这种情况并不常发生。Gemma4 在这方面很出色。我其实挺害怕的,如果他们真的发布一个这个级别的 Qwen4 模型(30-40B 参数,2-5B 激活参数),结果却是一个侧重编码的、过度思考的、确实有能力但一点也不快的烂摊子。Gemma4 26b 感觉差一点点就完美了,如果不是笨得像块石头的话。目前的状况是,我给 Anthropic 付钱来干那些烂编码的活。也许等我能在不错的速度下跑 Flash next 的时候(目前用 strata 大约 30-40 t/s,但用的是 q3 量化,还凑合),我就可以把 Claude 扔了。我想要一个像 3.6 35b 这样的模型,但更聪明。一样快,但能想到那些细节。记忆更新。我让它往我的日历里添加事项时,也许它还能顺便为那个特定时间单独设置一个专属提醒。那就太好了。不要更侧重编码。编码助手机器人已经太多了。它们都很棒。但面向普通人的通用 AI 助手还没有被解决。也许它能有更好的通用知识,但我觉得一个 n-gram 表就能解决这个问题。它前天晚上说 P100 用的是 ROCm。傻乎乎的机器人。
查看原文

相似文章

Qwen 35b a3b 令我惊喜

Reddit r/LocalLLaMA

用户报告了使用 Qwen 35b a3b 进行代理编码任务的积极体验,指出在其使用场景中它优于 Gemma4 26b,并且在演示/数据分析方面表现出色,尤其是在代理模式而非聊天模式下。

Qwen 3.6 35B A3B:6GB 显存实现 131K 上下文 + 视觉能力

Reddit r/LocalLLaMA

一位用户分享了在 RTX 2060 6GB 显存 + 32GB 内存的消费级硬件上运行 Qwen 3.6 35B A3B(Q4_K_M 量化)的 llama.cpp 完整启动配置,实现了 131K 上下文与视觉能力,约 600 tok/s 预填充与 23 tok/s 解码速度,通过将 MoE 专家层与视觉投影器卸载到 CPU 来控制显存占用。

Qwen 3.8 27b 即使在 Q3_xxs 下也很强大

Reddit r/LocalLLaMA

用户发现 Qwen 3.8 27b 在 Q3 量化下对编码任务非常高效,推理速度快,超越了之前的模型,尽管在日常对话中存在一些小问题。