我们真的都能搞定,对吧?双3090配置。

Reddit r/LocalLLaMA 新闻

摘要

一位用户分享了他们搭建双3090 GPU系统以本地运行Qwen 3.6 27b模型的经验,在切换到Ubuntu并使用带有自定义补丁的club-3090工具后,实现了超过100 tokens/秒的速度。他们对本地AI的未来感到兴奋。

我完全被震撼了。之前看到有人发帖提到了“club-3090”,在让Sonnet给它打了一些补丁(特别是修复了SSE会话断开bug和工具调用bug)之后,可以公平地说,即使像我这样的“预算”配置,很快也能走上纯本地AI的道路。参考GitHub:https://github.com/noonghunna/club-3090(不是我的项目)。 最初我在WSL2上运行它。公平地说,它比LM Studio“好一些”,但还不够好。t/s只有30左右,pp大约400……我索性在本机上安装了Ubuntu双系统(我只是不太习惯无头Linux,更喜欢Windows RDP),然后……哇!我现在能达到约4000 pp/s和113 tk/s,而且没有NVLink。据说NVLink会让它更快…… 无论如何,我对这个本地AI的新未来感到非常兴奋。跑在48GB显存上的Qwen 3.6 27b模型(上下文262K)感觉几乎达到了Sonnet的水平,而且比云端快得多!也很实用!我让它写了一些猴子补丁,效果非常好,还做了一些相当有用的代码审查。现在正在尝试让它处理我Linux电脑上的SSH会话。 好奇接下来能怎么升级。我之前考虑过M5 Ultra 512GB + 4x DGX Sparks(提示处理速度),但现在我在想,未来12个月里,我们是否能在更小的模型上达到前沿级别的智能(可能只在特定领域)?太棒了!
查看原文

相似文章

Wow!Qwen 3.6:35b-a3b 在 3090 上……太惊人了。

Reddit r/artificial

一位用户分享了在二手 RTX 3090 上运行量化版 Qwen 3.6:35b-a3b 模型的惊人结果:将模型放入显存后,输出速度达到每秒 160 个 token,并以 75 秒的视频处理时间展示了视觉能力。