本地大语言模型已不再民主...硬件门槛已失控。
摘要
作者认为，由于硬件成本高昂，运行本地大语言模型已变得难以企及，这与早期消费级GPU尚能胜任的情况形成鲜明对比，并对看似不再民主的访问权表达了不满。
当我们刚开始尝试本地大语言模型时，情况完全不同！我们用的是游戏显卡来捣鼓。8GB或16GB的显存（甚至不是人人都能拥有）是常态，很多人真的能动手实验。让我们暂且忘记那段漫长的加密货币挖矿阶段，它导致市场膨胀和短缺……但今天呢？今天，如果没有高端硬件，实验变得异常困难。我知道有些人会回复说：*"嘿，我用的是RTX 3090，完全没问题"*，但冒着令人生厌的风险，我确实认为这没有抓住重点。现在已经是2026年，RTX 6000 Pro应该成为当年3090那样的基准线！市场完全脱离现实，本地推理不再像我想象的那样民主。3090当时虽贵但尚可触及，而RTX 6000如今要1万到1.3万美元！该死的！！！哦，还有最后一件事：如果你打算发表评论吹捧Qwen 3.6，请别这么做。那个模型在这里被提及得太多，我开始觉得它甚至不是自然形成的了。我怀疑太多评论提到Qwen，甚至是在谈论Gemma4时，都是被操纵的！我只是想谈谈硬件访问不再民主的问题。你需要太多钱才能运行一个说到底只是工具的东西，它不会自动为你创造价值。抱歉我的英语不好……我脑子里有这个根深蒂固的概念，但不确定是否完全表达清楚了！
相似文章
既然大语言模型编码这么厉害……
讨论为何大语言模型未能帮助ROCm和英特尔的软件生态系统追上CUDA，并指出NVIDIA的高定价和真正市场竞争的必要性。
你认为运行本地大型语言模型的专用硬件会很快变得平价吗？
讨论了运行本地大模型的平价专用硬件的可能性，考虑到中国制造商大规模生产低成本硬件的能力。
高端私有本地 LLM 方案真的值得吗？
一位用户在纠结，投入 5×3090 GPU 的高端本地 LLM 配置，能否在保障数据隐私的同时，追平 Claude 或 GPT 等云端服务。
当前LLM成本为何不可持续
本文认为，当前高昂的LLM定价不可持续，原因是性能提升递减、开源权重模型兴起、专用AI芯片降低推理成本以及零切换成本，并预测随着竞争加剧，价格将大幅下降。
当他们停止补贴LLM订阅时会发生什么？
关于LLM订阅不可持续补贴的评论，预测随着风投资金收紧，价格将上涨，生态系统发生变化，并对开源模型的可用性和硬件成本表示担忧。