metal-runtime

BaseRT是一个专为Apple Silicon上的LLM构建的原生Metal推理运行时，在测试模型上，其解码吞吐量比llama.cpp高出1.56倍，比MLX高出1.35倍。