如果你对本地LLM感兴趣，从爱好学习角度出发，切勿让FOMO占上风

提醒那些急于涉足本地LLM的朋友——别让FOMO或“装备获取综合征”占了上风。无论何种爱好，都容易陷入这样一个陷阱：为了尝试更多而购买更多，最终却发现自己失去了乐趣，甚至忘记了学习的初衷。显然，如果你热衷于编写llama或vllm或硬件驱动程序等——你必须做你该做的事。但是，你可以通过API学到很多，可以用一个适配你现有显存或CPU的小模型学到很多，而且事物变化如此之快，以至于过去的许多代码和讨论都已过时。PyTorch和训练一个小模型可以在Pi上完成，学习CUDA只有在编写自定义内核时才真正重要，老实说，我不认为这里大多数人会费心去做（或者他们让前沿模型来编写）。奇怪的是，AI要成功，它将会使一切同质化。每个人都会有相同的优势，我认为这在许多讨论中被忽略了，我们没有讨论“旁观”可能是学习LLM最认知友好和经济友好的方式，无论我们称它们为本地与否。这项技术仍处于初级阶段，而且奇怪的是，大多数人的答案是使用AI来设置它，所以我并不完全相信人们真的在学习——感觉像是为了寻求租金或避免寻租而疯狂奔波，最终只会让一切变得更昂贵。这篇文章并不是说，别做。但没有必要负债或害怕错过，因为你可以通过做得更少来学得更多——买一本书，构建一个小模型——你会学到比购买5090并试图找到完美压缩以获得最佳预填充多得多的东西。