mistral.rs v0.8.2：在GB10、B200和H100上CUDA推理速度比llama.cpp快2.8倍

Reddit r/LocalLLaMA 工具
rust cuda inference llama.cpp mistral.rs performance open-source

摘要

Mistral.rs v0.8.2 在 GB10、B200 和 H100 GPU 上的 CUDA 推理速度比 llama.cpp 快达 2.8 倍，Gemma 4 模型的基准测试显示，在各种量化类型上均有一致的性能提升。

大家好！我一直在优化 mistral.rs 的 CUDA 性能，v0.8.2 主要聚焦于 CUDA 吞吐量。结果是：在 Gemma 4（密集型和 MoE）上，[mistral.rs](http://mistral.rs) 在我的 GB10/H100/B200 发布测试中每一点都快于 llama.cpp。以下是 GB10 和 B200 上的部分结果：https://preview.redd.it/jmdsjkrbfo4h1.png?width=3312&format=png&auto=webp&s=8a69286b73a8fad4edc671cb9ca8ad3f3cd74d1c 完整报告包含复现这些结果的所有步骤。这些结果在量化类型（eQ8\_0、Q4K）、模型（密集型和 MoE）以及 GPU 上均保持一致。更多详情请参阅完整报告：https://github.com/EricLBuehler/mistral.rs/blob/master/releases/v0.8.2/report.md 如果你想尝试，可以轻松安装 [mistral.rs](http://mistral.rs)： # Mac/Linux： curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh | sh # Windows： irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 | iex 之后，你可以在 1234 端口启动一个兼容 OpenAI 的服务器以及带有内置 Agent 功能的 Web 聊天界面： `mistralrs serve --agent -m google/gemma-4-E4B-it --quant 4` 欢迎复现、批评以及基准测试建议！更多详情、文档和示例请查看 GitHub：https://github.com/EricLBuehler/mistral.rs https://reddit.com/link/1tttevw/video/z0ayf1f1go4h1/player
查看原文

相似文章

Llama.cpp PR 带来 8% 速度提升

Reddit r/LocalLLaMA

一个 llama.cpp PR 将采样从 CPU 移至 GPU，在 RTX 5090 上为 Qwen3.6-35B 推理带来 8% 的 token 速度提升，在 Tesla P40 上约为 4%。