@andrewchen:体验本地AI模型的主要缺点在于你会买一块GPU,然后另一块,接着又一块……

X AI KOLs Following 新闻

摘要

Andrew Chen分享了他为本地AI实验购买多块GPU的经历,在5090 eGPU上以100 tok/s运行Qwen3.6 27B密集模型,并将其与Sonnet 4.6进行比较。

发现使用本地AI模型的主要缺点在于你会买一块GPU,然后另一块,接着又一块,再接着一块…… 但我现在在5090 eGPU上以100 tok/s的速度运行qwen3.6 27b密集模型!感觉就像sonnet 4.6?快速且高度可用 我想我手头的这些GPU在未来几年内会增值,所以这一切都是值得的。
查看原文
查看缓存全文

缓存时间: 2026/05/19 02:42

发现本地AI模型实验的主要弊端就是——你会买一块GPU,接着又一块,接着又一块……

不过我现在用5090 eGPU跑qwen3.6 27b密集模型,速度已经达到100 tok/s了!用起来感觉就像sonnet 4.6?又快又好用

我估摸着,我手里的这些GPU未来几年会越来越值钱,所以一切都值得。

相似文章

我们真的都能搞定,对吧?双3090配置。

Reddit r/LocalLLaMA

一位用户分享了他们搭建双3090 GPU系统以本地运行Qwen 3.6 27b模型的经验,在切换到Ubuntu并使用带有自定义补丁的club-3090工具后,实现了超过100 tokens/秒的速度。他们对本地AI的未来感到兴奋。