别再问该跑哪个模型了。其实只有两个。

Reddit r/LocalLLaMA 新闻

摘要

一位科技爱好者认为,只有两个本地AI模型(Qwen 3.6 35b a3b 和 Qwen 3.6 27b)值得运行,他否定了更小的模型,并推荐对更大模型进行重度量化。

能不能别再发那些每天都有“我有一块 RTX 3060,应该跑哪个模型?”的垃圾帖了?这并不复杂。截至目前,Hugging Face 上空空如也,整个地球上只有两个本地模型:* **Qwen 3.6 35b a3b** * **Qwen 3.6 27b** 列表到此为止。你的配置不重要,你的用例也不重要。别再抱着你那完美无损、全精度的 Q8 小 1B 模型自欺欺人了,就因为它们“刚好塞进你的显存”。你看上去很可笑。去找个重度损伤、超低量化的 35B 模型,强行塞给你的 GPU,让系统内存流血流到干。一个垃圾量化的大模型比你的宝贝微模型好上无数倍。只管塞进去。如果你要抱怨开源已死,因为你本地模型无法立刻重写整个企业代码库?行啊,放弃吧,掏出你的信用卡,像其他反叛者一样去花钱用 Claude Code。能不能把这个置顶,这样大家就能闭嘴不再发帖了?谢谢。现在问题解决了,我们去接触一下现实世界吧。
查看原文

相似文章