gemma-2b

标签

Cards List
#gemma-2b

[讨论] 一个用于 Gemma-2B 的 5KB 纯 x86-64 汇编推理引擎(FP16,CPU 上 4.6 token/s)

Reddit r/LocalLLaMA ↗ · 昨天

一个个人项目展示了 PULSAR-ASM:一个完全用扁平 x86-64 汇编(FASM)编写的极简 LLM 推理引擎,以 FP16 运行 Gemma-2B,二进制体积仅 5.2 KB,零 C/C++ 运行时依赖,在较旧的四核 CPU 上可达约 4.5-4.7 token/s——旨在作为面向裸机与微控制器 LLM 推理的第一性原理探索。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈