cpu-native

#cpu-native

我设计了一个CPU原生的LLM架构，在10B参数模型上能达到100+ tok/s（但质量存在问题）

Reddit r/LocalLLaMA ↗ · 2天前

作者设计了一个CPU原生的LLM架构，在10B参数模型上实现了超过100 tok/s，但强调了质量问题；他们分享了一个GitHub仓库，包含代码和适配现有模型的研究。

0 人收藏 0 人点赞