@AtlasInferenceX：我们的GitHub获得了700颗星标。特别感谢开源贡献者、品牌大使以及所有中间的帮助者...
摘要
Atlas是一个用纯Rust和CUDA编写的开源LLM推理引擎，实现了高性能并兼容NVIDIA和AMD硬件。
查看缓存全文
缓存时间: 2026/09/21 17:36
纯 Rust 构建的 LLM 推理，覆盖从手持设备到数据中心机架的全场景。
网站 · 文档 · 博客 · 社区 · 部署指南
atlascybernetics.ai · docs.atlascybernetics.ai · blog.atlascybernetics.ai
相似文章
@QingQ77: 用纯 Rust 实现 LLM 推理引擎，针对每种硬件×模型×量化组合定制 CUDA 内核，跑出比 vLLM 和 TensorRT-LLM 更高的推理速度。 https://github.com/Avarok-Cybersecurity/a…
Atlas 是一个纯 Rust 实现的 LLM 推理引擎，通过为每种硬件×模型×量化组合定制 CUDA 内核，实现了比 vLLM 和 TensorRT-LLM 更快的推理速度。
@no_stp_on_snek: 进行中
推广 Atlas Inference，这是一个开源推理服务工具，在 Qwen3.6-35B-A3B 基准测试上实现了 200+ tok/s 的性能。
@akshay_pachaar: 本地 LLM 推理的重大突破！这个开源引擎在 MacBook 上的 token 生成速度比 Ollama 快 2.7 倍：我测试了…
Magnitude 是一个开源的 Rust LLM 推理引擎，能够根据你的本地硬件自动调优 GPU kernel，声称在 MacBook 上解码速度比 Ollama 快 2.7 倍，预填充速度快 1.6 倍，并支持一键集成到 Claude Code 和 Codex 等 agent 中。
我们开源了Paddock，我们的Rust/C++推理引擎，自带CUDA内核（MIT/Apache-2.0）
Paddock是一个开源的Rust/C++推理引擎，带有自定义CUDA内核，在基准测试中展示了与vLLM和SGLang相竞争的性能，同时支持OpenAI/Anthropic风格的API和GGUF/safetensors格式。
@no_stp_on_snek: 小步前进。昨晚朋友远程进行的AMD开发：https://github.com/Avarok-Cybersecurity/atlas/pull/1107……
远程开发已为Atlas LLM推理引擎添加了AMD R9700（RDNA 4）支持，使其能够在硬件上运行像Qwen3.8-27B和Ornith-9B这样的模型。