旧款Titan显卡还值得用吗？
摘要
一位用户探讨了旧款Nvidia Titan显卡在运行Gemma/Qwen MOE编程模型方面的可行性，并与新款消费级显卡在内存带宽和成本上进行了比较。
相似文章
在老款GTX 1080（8GB显存，128k上下文）上，约30B的MoE模型达到24+ tok/s的推理速度
一位开发者展示了如何使用llama.cpp，通过MoE卸载和TurboQuant KV缓存量化技术，在老款GTX 1080（8GB显存）上以128k上下文运行Qwen 3.6 35B-A3B和Gemma 4 26B-A4B等MoE模型，达到24+ tok/s的推理速度，并揭示了针对Gemma MTP投机解码的优化技巧。
Gemma 4 QAT 基准测试结果（AMD 7900 XTX）：速度更快，显存占用更少，质量无损
一位用户在 AMD 7900 XTX 上对 Google 的 Gemma 4 QAT 模型进行了基准测试，报告显示生成速度提升高达 45%，吞吐量提高 83%，显存占用大幅减少（例如 12B QAT 模型节省 5.7GB），且与标准权重相比质量无损。
Qwen3.6-35B 与 Gemma4-26B 在 7900 XTX 上的对比
一项详细的基准测试对比了 Radeon 7900 XTX 上的 Qwen3.6-35B 和 Gemma4-26B，结果显示尽管 Gemma 的 token 生成速度较慢，但端到端快了约 20%，原因是 Qwen 因内部推理生成了约两倍的 token。文章建议：在吞吐量受限的批量任务中使用 Qwen，在延迟敏感的单次请求中使用 Gemma。
昨天在我的3090上跑了gemma 4 12b，我觉得本地模型领域已经变了
一位用户报告称，通过GGUF量化在单张RTX 3090上本地运行了谷歌的Gemma 4 12B模型，发现其性能强劲，包括真实的256k上下文、多模态能力以及函数调用功能，在编码任务上甚至优于更大的70B模型。
@sudoingX: 那些用16GB显卡的，别再滑了。@pupposandro 和 @davideciffa 把 qwen 35b-a3b 压缩到13.3GB，在……上实测
一种名为 luce spark 的技术让 Qwen 35B-a3B MoE 模型能够在16GB GPU（如RTX 3090）上运行，通过学习哪些专家被频繁使用，并将其余专家从内存流式加载，实现约100 tok/s，且不受显存瓶颈限制。