花6万美元买Mac跑本地LLM vs 10美元订阅

Alex Zisking，我最喜欢的YouTube博主之一，经常制作关于本地LLM的视频。他并非新手。在这个视频中他说：Lee一直告诉大家真相，本地LLM在普通人的硬件上还没准备好。好吧，他没提我，但他指出了我长期以来一直在强调的观点。所有那些‘停止每月付200美元给Anthropic，使用免费本地LLM’都是点击诱饵，不是事实。他运行了迄今为止最强大的开源权重模型Kimi K3。人们赞不绝口，说它接近Fable 5的性能。是的，但不是在你的硬件上。在数据中心里。Alex用4台512GB的Mac Studio联网，获得2TB内存来运行这个模型，还有足够空间用于大上下文窗口。花了4小时，输出速度17令牌/秒，开发了一个简单但相当不错的Web仪表盘——使用模拟数据。它成功了。输出很好。但即使花了6万美元的硬件，其性能也远不及10美元的订阅。目前我有两项并行的开发工作在进行。我已经运行了大约6小时。它们每次冲刺约一小时，我查看结果，必要时添加输入和指导，然后进入下一个冲刺。我的云订阅费用超过每月10美元。但Mac集群花的那4小时，只相当于大约15分钟的工作量。我是在做‘全天候工作，多项目’——本地AI还不能满足需求。目前还不行。可能对你来说也一样。链接在评论中。