本地LLM社区感觉就像互联网的黄金时代再次重现

最近由于当前的硬件短缺，不幸或幸运的是，我们无法简单地将无限的云计算投入到问题中，而是被迫真正关注底层发生了什么。我们正在调整推理引擎、学习量化数学，并优化架构，只为在最低配置下挤出尽可能多的性能。事实：就在最近，分叉的llama.cpp(s)和Strix Halo的halogen-flash-server将性能推至顶峰，为Qwen 3.8 Flash Next (Q38FN)实现了双倍解码性能（52 tok/s），预填充性能提升5-6倍（1300 tok/s），而Q38FN本身是另一个巨大的架构改进，带有Engram，使其不仅小巧而且智能。我仍然记得在硬件短缺之前，作为一个喜欢调整和优化的人，人们只是告诉我停止，调整是愚蠢的，就买更多RAM、买更多GPU... 这让我想起了早期的网络... 当时设置一台机器或托管一个服务器意味着挖掘论坛帖子、在IRC上故障排除，并自由分享自定义脚本只是为了让事情正常工作。那个时代不仅培养了程序员；它还构建了从裸机到上层全面理解堆栈的超级多才多艺的端到端思考者。对比一下主流网络文化的最终走向。如今大多数平台如Tiktok、Facebook、Youtube... 都是为了无摩擦的末日滚动而设计的... 无尽的短视频流旨在让我们分心并浪费时间。我们被便利过度宠坏了。我的观点是：当我们拥有太少时，我们试图学习更多；当我们拥有太多时，我们分心并学习太少。这是我们本地LLM社区的黄金时代，让我们学习并进步！