既然大语言模型编码这么厉害……
摘要
讨论为何大语言模型未能帮助ROCm和英特尔的软件生态系统追上CUDA，并指出NVIDIA的高定价和真正市场竞争的必要性。
为什么像ROCm和英特尔的软件栈不能快速改进其软件生态系统以与CUDA匹敌？在其他厂商的软件赶上NVIDIA之前，他们总能凭借其“即插即用”的产品收取高额溢价。这是一个真实的问题，我目前在AI实践中使用NVIDIA和Apple Silicon，但和这个版块里的其他人一样，我希望价格更亲民。除非市场出现真正的竞争，否则价格不会降下来。
相似文章
本地大语言模型已不再民主...硬件门槛已失控。
作者认为，由于硬件成本高昂，运行本地大语言模型已变得难以企及，这与早期消费级GPU尚能胜任的情况形成鲜明对比，并对看似不再民主的访问权表达了不满。
当大型语言模型提供商停止补贴时会发生什么？
一位开发者分享了从补贴的OpenAI Codex切换到OpenRouter后AI推理成本的经历，引发了关于当前LLM定价模式可持续性的讨论，以及可能转向开源自托管的趋势。
开源大模型是否已经“足够好”了？
探讨开源大模型是否已能满足大多数用例，质疑闭源模型的附加价值及成本效益权衡。
你认为运行本地大型语言模型的专用硬件会很快变得平价吗？
讨论了运行本地大模型的平价专用硬件的可能性，考虑到中国制造商大规模生产低成本硬件的能力。
为什么没有一个社区项目来在消费级硬件上从头训练你自己的LLM？
关于缺乏一个社区项目来在消费级硬件（8GB显存）上使用BitNet和Muon等现代技术从头训练LLM的讨论，提议合作构建这样一个项目。