qwen38-27b-rtx3090(https://github.com/syv-ai/qwen38-27b-rtx3090)与deepseek harness配合得非常好。

Reddit r/LocalLLaMA 工具

摘要

在单张RTX 3090 GPU上运行带有视觉功能的Qwen 3.8 27b模型,可以实现150k上下文长度,并且与DeepSeek harness集成允许插件开发,尽管一个搜索引擎插件导致了系统崩溃。

启用视觉功能后,我能够在单张RTX 3090上运行150k上下文,结果非常惊人。我甚至能用本地托管的Qwen 3.8 27b为DeepSeek harness编写一个gmail插件。有趣的是,当让它编写搜索引擎插件时,它破坏了dsh,我甚至无法再启动DeepSeek harness了,哈哈。致敬并感谢写下https://github.com/syv-ai/qwen38-27b-rtx3090的那位。26 turns · 489 steps| LLM 161m44s · Tool call 10m47s| TTFT avg 5.9s · 86 tok/s| Cache hit 0%| Input 35.7M tok · Output 586K tok
查看原文

相似文章

Wow!Qwen 3.6:35b-a3b 在 3090 上……太惊人了。

Reddit r/artificial

一位用户分享了在二手 RTX 3090 上运行量化版 Qwen 3.6:35b-a3b 模型的惊人结果:将模型放入显存后,输出速度达到每秒 160 个 token,并以 75 秒的视频处理时间展示了视觉能力。

Qwen 3.8 27b 对比 Deepseek Flash

Reddit r/LocalLLaMA

这篇文章对比了开源AI模型Qwen 3.8 (27B) 和 Deepseek Flash,讨论了基准测试,并寻求用户经验以评估它们的性能。