I put together a Rust-native, CPU-only implementation of LFM2.5-8B-A1B

TL;DR: 我发布了一个纯 Rust、纯 CPU 的 LFM2.5-8B-A1B 模型实现（4-bit Q4KM 量化），解码速度约 37 tokens/s，内存占用 ~7GB，可嵌入应用并共享权重。 ## 项目动机 本地大语言模型越来越强，80 亿参数的模型能做的已经让人印象深刻。但 GPU 实在太贵了。CPU 服务器（VPS）月费只要几美元，而带 GPU 的云服务器贵得多。很多人想用旧机器或廉价 VPS 跑 LLM，做后端、自动化或实验。这个项目就是为这种场景设计的——一个纯 CPU 可运行的推理引擎，完全用 Rust 编写，依赖极少。 ## 实现细节 - **模型**：选用 LFM 2.5 8B 模型的 4-bit Q4KM 量化版（GGUF 格式）。 - **语言与硬件**：纯 Rust crate，零外部库，跨平台 SIMD 原语（Ryzen 上使用 AVX2，Apple M5 上使用 ARM NEON）。 - **部署**：下载权重文件后，通过环境变量或默认路径加载，直接链接到你的 Rust 应用中。 - **API 设计**：创建模型实例（存储权重），然后可以创建多个 `Agent` 对象共享权重。每个 Agent 拥有独立的聊天历史和 KV 缓存，适合同时处理不同任务。 ## 性能与优化 初期移植时只有 0.89 token/s。经过几轮优化——重写内核、加入并行、启用 SIMD——性能大幅提升： - 在 Ryzen 7950X 上（16 线程）： - 预填充（prefill）约 38 tokens/s - 解码（decode）约 33 tokens/s - 与 llama.cpp（强制 CPU）对比：llama 的 prefill 更快，但 decode 速度接近。我的实现仍有优化空间，有望追平。 ## 使用示例 1. **聊天界面**：流式输出 token，支持显示思考模型的“思考 token”。 2. **简单测试**：让模型介绍蒙特利尔——结果基本准确，但问餐厅时有一次编造了不存在的餐馆（无联网能力）。 3. **工具调用**：模型针对工具使用训练，目前我在添加回调机制，让模型调用 Rust 函数。演示用 CSV 表格和 JSON 转换任务，模型表现良好。 ## 命令行与配置 提供基于 Builder 模式的 Agent 配置语法，以及命令行选项。支持限制思考长度、禁用思考（但不稳定）。可通过 `@` 语法嵌入文件内容。 ## 测试环境与兼容性 - 已测试：Ryzen 7950X（支持 AVX2）和 Apple M5（M1–M5 应都支持）。 - 理论可跑：任何支持 AVX2 的 Intel CPU，甚至树莓派 5/4（未测试，欢迎反馈）。 - 内存需求：约 7GB，可在 16GB RAM 机器上舒适运行。 ## 当前状态与未来计划 - 代码已开源：`github.com/maximcv/bb-lm` - 已发布为 cargo crate。 - 已添加工具调用回调、更多测试。 - 计划优化预填充速度，并与 llama.cpp 性能看齐。 - 后续会完善文档和示例。 ## 局限性 - 禁用思考后模型可能输出 `/think` 原文或跑偏。 - 目前预填充速度弱于 llama.cpp，但解码速度已接近。 - 无 GPU 加速，但 CPU 推理已可交互使用。 **Source**: [YouTube 视频 - maximecb](https://www.youtube.com/watch?v=whni8GW3xNM)