标签
Ferrox 是一个纯 Rust 推理引擎，可加载 GGUF 模型，并在 CPU、Metal 或 CUDA 上运行本地 LLM，提供 CLI 和兼容 OpenAI 的服务器。它的目标是在不使用任何绑定、从零编写的情况下，达到与 llama.cpp 相当的性能。