标签
一名用户分享了一份配置方案，该方案在使用 llama.cpp 和多令牌预测（MTP）的情况下，能在 12GB 显存的 GPU 上让 Qwen3.6 35B A3B 模型实现超过每秒 80 个令牌的生成速度。帖子中包含了基准测试结果以及用于优化性能的具体命令行参数。
作者强调了在 RTX 5090 上本地运行开源 Qwen 3.6-27B 模型的卓越能力，指出其在编程任务上的强劲表现，并与商业模型进行了对比，尽管本地部署过程颇具挑战性。
一位开发者分享了在搭载 NVIDIA RTX Pro 4500 Blackwell 显卡的服务器上，使用 llama.cpp 运行 Qwen3.6-27B 模型的本地推理基准测试数据及 systemd 配置。该帖文征集了提升吞吐量的优化建议，并探讨了更大模型的潜在应用场景。
社区发布的Qwen3.6 35B A3B无审查变体版本，完整保留19个MTP张量，支持多种格式包括Safetensors、GGUF、NVFP4和GPTQ-Int4。
一位用户在12GB的RTX 3060上对Qwen 35B-A3B（一个35B参数的MoE模型）进行了基准测试，发现12GB显存是运行该模型并支持32k上下文时的实用甜点区，生成速度可达约47 token/秒。
开发者通过将 MTP（多 Token 预测）与 TurboQuant 的无损 KV缓存压缩技术相结合，在单张 RTX 4090 上实现了 Qwen3.6-27B 模型在 262K 上下文下 80+ token/秒的推理速度，并分享了实现分支和技术细节。
使用 Qwen2.5-32B-Instruct 搭配 longctx 和 vllm-turboquant 的单个 AMD MI300X 开源技术栈，在 MRCR v2 百万级上下文基准测试中取得了与 SubQ 闭源模型（0.659）相竞争的结果（0.601-0.688），表明开源权重方法已接近达到同等水平。
本文提出了一种全流程方案，用于向思维模型教授工具推理，该方法应用于 Qwen3 模型时，在 AIME 2025 等基准测试上实现了最先进的性能。
用户评价了通过MLX为Apple Silicon优化的Qwen3.6-35B模型的量化微调版本，称赞其速度快、智能化程度高且没有安全免责声明。
对 Qwen 3.6 27B MTP 在 4 张 RTX 3090 GPU 上的基准分析表明，基于 NVLink 的张量并行相较于 PCIe 配置可实现显著的吞吐量提升（最高达 +53%）。
Ramp 介绍了一项案例研究，利用强化学习后训练构建了 Fast Ask，这是一种专门的电子表格检索智能体，与通用模型相比，它提高了准确性并降低了延迟。
作者描述了在 Linux 服务器上将 Openclaw 用作系统管理员，利用本地 Qwen 3.6 27b 模型进行安全审计、更新以及部署自助服务终端模式任务，无需外部互联网连接。
这篇研究论文探讨了大型语言模型如何将社会角色的细粒度性编码为一个结构化的潜在维度。研究证实，这一“细粒度轴”在 Qwen3 和 Llama-3 等不同架构中保持一致，并且可以通过激活 steering（activation steering）进行因果干预。
Jackrong 发布 Qwopus3.6-35B-A3B-v1，基于阿里巴巴 Qwen3.6 MoE 模型的推理增强微调版本，针对逻辑推理和智能体编程优化，拥有 350 亿总参数和 30 亿激活参数。
本文提出了“并行交错推理（Side-by-Side Interleaved Reasoning）”方法，通过控制自回归模型中的信息揭示时机，以提高准确性和效率。实验表明，在使用 Qwen3 模型的基准测试中，通过将私密推理与部分信息披露相结合，模型性能得到了提升。
基于 Qwen 3.6 27B 模型的社区微调去审查版本，提供高精度 GGUF 量化。
该仓库为 Qwen 3.5 和 3.6 提供了修复后的 Jinja 聊天模板，解决了官方模板在 LM Studio、llama.cpp 等引擎中的渲染错误、token 浪费和功能缺失问题。
A single RTX 3090 achieves 134 tok/s on the new 27B Qwen 3.5 Dense and 73 tok/s on Qwen 3.6-27B using fused kernels and speculative decoding, with same-day GGUF releases.