为什么 AnythingLLM 正从 Ollama 转向 Lemonade 和 llama.cpp

# 为什么 AnythingLLM 正从 Ollama 转向 Lemonade 和 llama.cpp 来源：https://anythingllm.com/blog/lemonade-llama-cpp AnythingLLM Desktop 有了新的内置引擎。你在 AnythingLLM 中下载并运行的模型，现在由 llama.cpp (https://github.com/ggml-org/llama.cpp) 运行，并由 Lemonade (https://lemonade-server.ai/) 管理。Lemonade 是 AMD 开发的开源本地 AI 服务器。它取代了我们从一开始就随应用附带的 Ollama。 这不是一个轻易做出的决定。AnythingLLM 是 Ollama 最大的安装用户群之一，而且 Ollama 多年来一直是产品的一部分。因此，我们希望清楚地说明为什么做出这一改变，以及它对你意味着什么。 ## 我们最初为什么选择 Ollama 当我们首次将本地引擎集成到 AnythingLLM 时，Ollama 是正确的选择。在其他工具还做不到的时候，它就让在自己的电脑上运行模型变得简单。它是开源的，发展迅速，也为本地 AI 社区做出了很多贡献。我们早期能吸引许多本地用户，很大程度上要归功于它。 Ollama 使用与 llama.cpp 相同的底层技术来运行模型。很长一段时间里，使用 Ollama 是让普通人用上 llama.cpp 最简单的方式。 ## 发生了什么变化 **llama.cpp 的速度超过了我们随应用提供的引擎。**本地 AI 领域每周都在发展。新的模型架构、新的量化格式、新的 GPU 内核。这些成果最先落地的地方就是 llama.cpp，而针对各种硬件的性能调优也真正发生在那里。在应用与 llama.cpp 之间每增加一层，就多了一层会落后于它的东西。直接提供 llama.cpp，意味着 AnythingLLM 用户能在速度提升和新模型出现时立即享受到它们。 **Ollama 的更新不断导致问题。**过去一年里，升级我们随应用附带的 Ollama，导致 AnythingLLM 出问题的可能性与修复问题的可能性一样高。新版本可能改变某个模型系列的加载方式、模板的处理方式，或内存的管理方式，而我们就得为这些问题向用户负责。因此，我们锁定了旧版本，这也意味着错过改进。如果始终采用最新的 Ollama，我们就会直接继承它的问题。这两种选择对你都不好。 **我们与 Ollama 的优先事项不再一致。**Ollama 的重心已转向云端模型和服务。对一家公司来说，这样做很合理。初创公司需要商业模式，而我们比大多数人更理解这一点。但 AnythingLLM 的存在，是为了让任何人都能使用私密的设备端 AI，无需账户、无需订阅，也不会有任何内容离开你的电脑。我们希望 AnythingLLM 的底层引擎由这样一群人构建：他们的全部工作，就是让本地推理在实际硬件上运行得更快。 **模型就应该只是模型。**llama.cpp 运行 GGUF 文件，这是开放模型社区实际发布模型所用的格式。使用新引擎后，AnythingLLM 会按照你选择的量化规格，直接从 Hugging Face (https://huggingface.co/) 或 ModelScope (https://www.modelscope.ai/home) 下载模型，中间无需经过独立的模型注册库或重新打包步骤。如果一个模型今天出现在 Hugging Face 上，你今天就能在 AnythingLLM 中运行它。 ## 为什么选择 Lemonade Lemonade (https://github.com/lemonade-sdk/lemonade) 是一个管理其他引擎的引擎。它是开源的，由 AMD 维护，让我们能够以统一的方式，在 Windows、macOS 和 Linux 上运行本地 AI，无论你使用什么硬件。 - **让 llama.cpp 随处运行。**Lemonade 可以在 CPU 上运行 llama.cpp，也可以在 GPU 上运行：AMD、Intel 和 NVIDIA 显卡可使用 Vulkan，NVIDIA 显卡可使用 CUDA，搭载 Apple Silicon 的 Mac 可使用 Metal。AnythingLLM 会在安装时检测你的硬件，并为其配置最快的选项。 - **NPU 加速。**在搭载 XDNA 2 NPU 的 AMD Ryzen AI 电脑上，Lemonade 可以通过 FastFlowLM (https://github.com/ROCm/FastFlowLM) 在 NPU 上运行模型。搭载 Snapdragon 的电脑已经能够通过高通的 GenieX (https://github.com/qualcomm/GenieX) 在 AnythingLLM 中使用 NPU 加速。有了这两者，最新 AI 电脑中的 NPU 终于能派上用场。 - **很快就不只是聊天。**Lemonade 还管理图像生成、语音转文本和文本转语音引擎。这为将这些能力引入 AnythingLLM 奠定了基础，让所有人都能直接使用，而不只是那些熟悉如何自行配置工具的人。 - **背后有真正的团队。**Lemonade 由 AMD 开发，他们非常重视让本地 AI 在每台电脑上都能良好运行。这正是我们希望为 AnythingLLM 提供底层支持的合作伙伴。 ## llama.cpp 背后的生态系统 llama.cpp 已不再是一个业余项目。今年 2 月，llama.cpp 背后的团队 ggml.ai 加入了 Hugging Face (https://github.com/ggml-org/llama.cpp/discussions/19759)，项目仍保持开源，并由社区主导。9 月，NVIDIA 同意收购 Hugging Face (https://blogs.nvidia.com/blog/nvidia-to-acquire-hugging-face/)。再加上 AMD 在 Lemonade 上的工作，如今 AI 硬件和开放模型领域的一些巨头，都在投入资源，让 llama.cpp 成为每种 GPU 上最快的运行时，并且很快也将覆盖每种 NPU。 这正是我们希望 AnythingLLM 所依托的基础。当这些团队让 llama.cpp 变得更快时，AnythingLLM 也会变得更快。 ## 它的体积也小了很多 我们此前安装的 Ollama 引擎在每台电脑上的体积都一样，因为它包含了所有厂商的 GPU 库。在 Windows 上，还没下载任何模型，它就占用了约 1.8 GB。 新引擎只安装你的机器能用到的组件。在一台没有 NVIDIA 显卡的典型 Windows 电脑上，整个引擎约为 137 MB。搭载 NVIDIA 显卡的机器会额外安装所需的 CUDA 库，搭载 AMD Ryzen AI 的机器会额外安装 NPU 引擎。没有人需要为自己没有的硬件下载 GPU 库。 ## 这对你意味着什么 - **新安装会自动使用新引擎。**下载 AnythingLLM，选择一个模型，它就会在你机器上最快的硬件上运行。 - **如果你已经在使用内置引擎，现有功能不会受到影响。**你当前的配置会继续正常工作。准备好后，点击应用顶部栏中的 **引擎升级**。AnythingLLM 会切换到新引擎并移除旧引擎。新引擎需要重新下载模型，所以请在有空时操作。未来的更新会自动将所有用户迁移到新引擎。 - **使用任意 GGUF 模型。**从我们推荐的模型中选择，导入一个 .gguf 文件，粘贴任意 Hugging Face 仓库地址，或点击 Hugging Face 上的“使用此模型”按钮，直接在 AnythingLLM 中打开它。 - **仍然支持使用你自己的 Ollama。**如果你自行运行 Ollama 并将 AnythingLLM 连接到它，一切都会像以前一样正常工作。这次变化只涉及我们随应用提供的内置引擎。 ## 感谢 感谢 AMD 的 Lemonade 团队与我们共同推进这项工作，也感谢 Georgi Gerganov 和每一位 llama.cpp 贡献者，构建了让本地 AI 成为可能的引擎。还要感谢每一位在自己的电脑上运行 AnythingLLM 的用户。你们是我们不断努力打造最快、最注重隐私的 AI 的原因。 *如果你在升级后遇到任何问题，请通过 GitHub (https://github.com/Mintplex-Labs/anything-llm) 或 Discord (https://discord.gg/4yJVruMQWY) 告诉我们。* **了解更多**