Tag
一位用户分享了在 RTX 2060 6GB 显存 + 32GB 内存的消费级硬件上运行 Qwen 3.6 35B A3B（Q4_K_M 量化）的 llama.cpp 完整启动配置，实现了 131K 上下文与视觉能力，约 600 tok/s 预填充与 23 tok/s 解码速度，通过将 MoE 专家层与视觉投影器卸载到 CPU 来控制显存占用。
webAI 发布了 TwIL LM3 Pro，一个基于 IBM Granite 4.2 3B、仅针对形式逻辑（如前提蕴含判断、规则归纳、Lean 证明批判）微调的 3.66B 模型，在逻辑复合基准上以一半以内的参数量追平 Qwen3-8B，并提供可在 CPU/4GB VRAM 上运行的 GGUF 量化版本。
A user reports successful deployment of a quantized Nemotron-3 Super model supporting 500k context and agentic coding on consumer-grade dual Titan RTX hardware.
A 35B-parameter Qwen3.6 model fine-tuned with Claude-Opus-style chain-of-thought distillation data and released in GGUF quantized formats for efficient local inference.