AMD 的本地 AI 解决方案 Lemonade SDK 新增 NVIDIA CUDA 支持

来源：https://www.phoronix.com/news/AMD-Lemonade-10.7-Released AMD

Lemonade 是 AMD 开发的本地 AI 服务器解决方案，旨在兼容其 CPU、GPU 和 NPU 运行。今天发布的新版本增加了对 NVIDIA CUDA 的支持。

Lemonade SDK 提供本地 AI 服务器能力，其 API 兼容 OpenAI、Anthropic 和 Ollama 的 API。Lemonade 基于 FastFlowLM、vLLM、Llama.cpp 及其他组件构建，提供丰富、开源的本地 AI 体验。除了支持自家的 AMD Ryzen AI NPU、Radeon/Instinct GPU 加速器和 x86_64 CPU 外，此前已支持 Apple Metal GPU 和 AArch64 CPU。有趣的是，Lemonade 10.7 现在也新增了对 NVIDIA CUDA 的支持，允许在竞争对手的 GPU 上运行相同的本地 AI 服务器体验。

Lemonade NVIDIA CUDA 支持

Lemonade 10.7 正确集成了 Llama.cpp 在 Windows 和 Linux 上的 CUDA 后端，并在 Lemonade 中实现了正确的 NVIDIA GPU 检测以及其他集成细节。Linux 版本也加入了 stable-diffusion.cpp 的 CUDA 后端。此外，此版本还在 Windows 和 Linux 上为 stable-diffusion.cpp 添加了 Vulkan 支持，以提供更广泛的跨厂商 GPU 兼容性。

Lemonade 10.7 还增加了对 LMX-Omni 模型的支持，一个用于实时状态监控的原生 Prometheus 端点，以及其他增强功能。

Lemonade 10.7 最令人兴奋的是新增了 lemonade bench 命令，它专注于在 Llama.cpp、FastFlowLM、vLLM 和 Ryzen AI 软件之间进行公平的 LLM 基准测试。我将尝试 lemonade bench，看看它的基准测试效果如何，并希望在未来的 Phoronix 文章中使用它。

Lemonade 10.7 的下载及更多关于此开源功能版本的详细信息，请访问 GitHub (https://github.com/lemonade-sdk/lemonade/releases/tag/v10.7.0)。