qwen

标签

Cards List
#qwen

我绘制了Qwen3.6-35B-A3B和Gemma4-E2B QAT模型的KV缓存量化的KL散度图

Reddit r/LocalLLaMA · 4小时前

作者绘制了Qwen3.6-35B-A3B和Gemma4-E2B QAT模型的KV缓存量化的KL散度图。

0 人收藏 0 人点赞
#qwen

Gemma 4 26b 为何不受关注?

Reddit r/LocalLLaMA · 14小时前

一位用户询问为什么 Gemma 4 26b 相比 Qwen 模型关注度较低,并分享了他们在 3090 上使用这些模型构建个人助手项目的经验。

0 人收藏 0 人点赞
#qwen

Gemma 4 有一天会成为下一个 Mistral(或 Qwen3.6)吗?关于微调不足的问题。

Reddit r/LocalLLaMA · 21小时前

一篇分析文章,探讨为何 Gemma 4 尽管具备 QAT 与视觉支持等优势,却相比 Mistral 缺乏社区微调,以及社区惯性是否会最终发生转变。

0 人收藏 0 人点赞
#qwen

@BlackRainLabs: 使用TurboQuant,我能在GTX1060 3GB上以20 tokens/秒运行qwen 3.6 35b MoE。对于这么小又老的显卡来说,简直疯狂。…

X AI KOLs Following · 昨天 缓存

使用TurboQuant,用户在GTX1060 3GB上以20 tokens/秒运行Qwen 3.6 35B MoE模型,展现了在陈旧硬件上令人印象深刻的性能。

0 人收藏 0 人点赞
#qwen

NEX-N2-mini:“没有帕累托前沿。我就是帕累托。”这个Qwen3.5-MoE微调版本在我的测试中显然修复了3.5和3.6的过度思考问题。

Reddit r/LocalLLaMA · 昨天

据报道,名为NEX-N2-mini的Qwen3.5-MoE微调版本修复了Qwen 3.5和3.6模型中出现的过度思考问题。

0 人收藏 0 人点赞
#qwen

Qwen3.6-35B-A3B APEX 在单张 RTX 3090 上——充分发挥其潜力

Reddit r/LocalLLaMA · 昨天

在 RTX 3090 上运行 Qwen3.6-35B-A3B APEX 模型的详细指南:比较两个 llama.cpp 分支及量化方法,以达到最佳速度与质量。

0 人收藏 0 人点赞
#qwen

@karminski3: 想买Mac运行大模型? 这是劝退贴 其实估算方法很简单, 现在买 MacStudio 哪怕运行 Qwen3.6-27B 4bit 量化版本, 然后开 DFlash 使用Qwen的内置投机解码, 也就飙到 65token/s. 而现在普遍大…

X AI KOLs Timeline · 昨天 缓存

作者通过计算Mac Studio运行大模型的token成本和回本周期,得出结论:普通用户购买Mac自用大模型不划算,建议使用API或租卡更经济。

0 人收藏 0 人点赞
#qwen

@guohao_li:是的,确实是时候认真考虑购买更多GPU并开始构建我们自己的本地AI堆栈了。我很好奇…

X AI KOLs Following · 昨天 缓存

一位研究人员表示,是时候购买更多GPU并构建本地AI堆栈了,并提到Qwen 3.5 27B和GLM 5.2等模型消除了永久底层阶级的威胁。

0 人收藏 0 人点赞
#qwen

我们使用本地模型免费对OpenClaw仓库进行问题分类!*

Hugging Face Blog · 昨天 缓存

这篇博文介绍了在代理框架中使用Gemma、Qwen等本地开源权重模型,自动对OpenClaw仓库中的问题和拉取请求进行分类,从而实现实时通知,无需依赖昂贵的封闭API模型。

0 人收藏 0 人点赞
#qwen

对本地LLM如Qwen 3:0.6B进行微调以对问题分类,效果良好

Hacker News Top · 昨天 缓存

一位开发者使用Unsloth框架对小型Qwen 3 0.6B模型进行微调,用于对家庭问题进行分类,仅用850个训练样本便取得了良好效果。

0 人收藏 0 人点赞
#qwen

@losterror501:使用2dgx sparks,单会话25 tok/s,8会话峰值152 tok/s。实在疯狂……

X AI KOLs Timeline · 昨天 缓存

宣布Qwable-v1,这是一个从Claude Fable-5蒸馏而来的开放权重模型,同时展示了在2dgx sparks硬件上的性能基准测试:单会话25 tok/s,8会话152 tok/s。

0 人收藏 0 人点赞
#qwen

A100上Qwen3.6-27B-FP8运行缓慢

Reddit r/LocalLLaMA · 2天前

Qwen3.6-27B-FP8模型在A100 GPU上运行时性能较慢

0 人收藏 0 人点赞
#qwen

Qwen 27B 用于规划,Qwen 35B-A3B 用于执行?

Reddit r/LocalLLaMA · 2天前

讨论使用 Qwen 27B 进行规划任务,使用 Qwen 35B-A3B 进行执行任务,提出了一种专门的模型方法。

0 人收藏 0 人点赞
#qwen

最佳本地视觉模型——第二次基准测试更新——2026年6月21日

Reddit r/LocalLLaMA · 2天前

本文介绍了本地视觉语言模型基准测试的第二次更新,比较了23个模型在30张图像上的表现(使用修订设置),并为不同VRAM层级提供了性能建议。主要发现包括:推理模式会损害视觉性能,且MoE模型在感知任务上表现不如密集模型。

0 人收藏 0 人点赞
#qwen

Qwen 3.6 27b Abliterated (apostate)

Reddit r/LocalLLaMA · 2天前

用户发布了Apostate,这是Qwen 3.6 27B的去安全对齐版本,将安全对齐拒绝率从92%降低到7.6%,同时能力损失极小(KL 0.120)。

0 人收藏 0 人点赞
#qwen

双Radeon R9700——在llama.cpp上运行Qwen 3.6 27B Q8 MTP

Reddit r/LocalLLaMA · 2天前

关于在使用ROCm的llama.cpp上,于双AMD Radeon R9700配置下运行Qwen 3.6 27B Q8模型的技术报告,包括性能基准测试和配置详情。

0 人收藏 0 人点赞
#qwen

Qwen永远不会开源Qwen 3.7了,对吧?

Reddit r/LocalLLaMA · 2天前

在解雇Junyang Lin之后,Qwen锁定了其大型模型,不再发布开源模型,而其他中国AI实验室继续开源最新模型。传闻小模型团队已解散,Qwen 3.6/3.7可能是最后一代开源模型。

0 人收藏 0 人点赞
#qwen

Qwen 代码助手现已上架 VS Code 市场 - 个人思考

Reddit r/LocalLLaMA · 3天前

Qwen 代码助手现已可在 VS Code 市场中获取,为开发者提供 AI 驱动的编码辅助工具。

0 人收藏 0 人点赞
#qwen

48GB VRAM + Qwen 3.6 27B 的最佳设置

Reddit r/LocalLLaMA · 3天前

一位用户分享了在双GPU配置(RTX 4090 + RTX 3090)上使用llama.cpp运行Qwen3.6 27B (Q8_0)的优化设置,在250k上下文下实现了75-100 t/s和1500 pp。

0 人收藏 0 人点赞
#qwen

@SlimTradeyBaby: 在下方列出你的GPU,我会告诉你运行什么模型和配置。开玩笑的。没必要。Qwen 3.6 27b @Unsloth…

X AI KOLs Timeline · 3天前 缓存

一条推广Qwen 3.6 27b模型并推荐UnslothAI在任何GPU上运行它的推文。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈