qwen38-27b-rtx3090（https://github.com/syv-ai/qwen38-27b-rtx3090）与deepseek harness配合得非常好。

Reddit r/LocalLLaMA 工具
qwen-3.8 27b-model rtx-3090 deepseek-harness vision-ai long-context plugin-development

摘要

在单张RTX 3090 GPU上运行带有视觉功能的Qwen 3.8 27b模型，可以实现150k上下文长度，并且与DeepSeek harness集成允许插件开发，尽管一个搜索引擎插件导致了系统崩溃。

启用视觉功能后，我能够在单张RTX 3090上运行150k上下文，结果非常惊人。我甚至能用本地托管的Qwen 3.8 27b为DeepSeek harness编写一个gmail插件。有趣的是，当让它编写搜索引擎插件时，它破坏了dsh，我甚至无法再启动DeepSeek harness了，哈哈。致敬并感谢写下https://github.com/syv-ai/qwen38-27b-rtx3090的那位。26 turns · 489 steps| LLM 161m44s · Tool call 10m47s| TTFT avg 5.9s · 86 tok/s| Cache hit 0%| Input 35.7M tok · Output 586K tok
查看原文

相似文章

仅用一张 RTX 3090ti 和 128GB 内存就取得了惊人的效果。Deepseek-V4.1-Flash-1017（35 tok/s 解码速度）和 Qwen3.8-Flash-Next（130 tok/s 解码速度）。

Reddit r/LocalLLaMA

一位用户分享了一份详细的搭建指南，介绍如何在较旧的消费级硬件（RTX 3090 Ti、128GB 内存、Threadripper 3990X）上运行 DeepSeek-V4.1-Flash-1017（约 35 tok/s）和 Qwen3.8-Flash-Next（约 130-140 tok/s），内容涵盖通过开源内核模块解锁 NVIDIA 固件降频限制，以及构建 Xolotl 推理引擎。

Wow！Qwen 3.6:35b-a3b 在 3090 上……太惊人了。

Reddit r/artificial

一位用户分享了在二手 RTX 3090 上运行量化版 Qwen 3.6:35b-a3b 模型的惊人结果：将模型放入显存后，输出速度达到每秒 160 个 token，并以 75 秒的视频处理时间展示了视觉能力。