qwen38-27b-rtx3090(https://github.com/syv-ai/qwen38-27b-rtx3090)与deepseek harness配合得非常好。
摘要
在单张RTX 3090 GPU上运行带有视觉功能的Qwen 3.8 27b模型,可以实现150k上下文长度,并且与DeepSeek harness集成允许插件开发,尽管一个搜索引擎插件导致了系统崩溃。
启用视觉功能后,我能够在单张RTX 3090上运行150k上下文,结果非常惊人。我甚至能用本地托管的Qwen 3.8 27b为DeepSeek harness编写一个gmail插件。有趣的是,当让它编写搜索引擎插件时,它破坏了dsh,我甚至无法再启动DeepSeek harness了,哈哈。致敬并感谢写下https://github.com/syv-ai/qwen38-27b-rtx3090的那位。26 turns · 489 steps| LLM 161m44s · Tool call 10m47s| TTFT avg 5.9s · 86 tok/s| Cache hit 0%| Input 35.7M tok · Output 586K tok
相似文章
Qwen 3.8 27b搭配DeepSeek Harness令人惊叹!!目前体验与性能。
用户分享了使用Qwen 3.8 27b模型搭配DeepSeek Harness的积极体验,赞扬其稳定性和长上下文处理能力,但提到速度限制,并期待未来的模型发布。
Qwen 3.8 27b 今晚为我节省了超过650美元的API费用
作者使用 DeepSeek Harness 本地运行 Qwen3.8-27B,实现了快速推理,并相比等效工作负载的 API 成本节省了超过 650 美元。
Wow!Qwen 3.6:35b-a3b 在 3090 上……太惊人了。
一位用户分享了在二手 RTX 3090 上运行量化版 Qwen 3.6:35b-a3b 模型的惊人结果:将模型放入显存后,输出速度达到每秒 160 个 token,并以 75 秒的视频处理时间展示了视觉能力。
Qwen3.8-27B在人工分析基准测试中与DeepSeek V4和GPT-5.6 Luna Max并驾齐驱。您现在只需一块RTX 3090就能运行一个接近前沿的模型。
Qwen3.8-27B是一款新AI模型,在人工分析基准测试中与DeepSeek V4和GPT-5.6 Luna Max等前沿模型性能相当,并且可以在RTX 3090 GPU上本地运行。
Qwen 3.8 27b 对比 Deepseek Flash
这篇文章对比了开源AI模型Qwen 3.8 (27B) 和 Deepseek Flash,讨论了基准测试,并寻求用户经验以评估它们的性能。