为什么没有任何 OSS 工具将 llama.cpp 视为一等公民？

Reddit r/LocalLLaMA 新闻
llama-cpp open-source local-llm developer-tools ollama ai-tooling

摘要

无论是 opencode、VS Code Copilot 扩展还是其他任何“开源”AI 工具，我很少见到 llama.cpp 被当作一级支持的提供商。它们全部支持 ollama，偶尔还有 LMStudio。从工程角度来看，把 llama.cpp 列在和 ollama 同样的位置几乎零成本。或者更棒的做法是，提供一个不依赖特定标签的 OpenAI API 兼容端点，让我自行填写端口号和端点地址。这确实令人恼火，因为 ollama 就是个窃取 llama.cpp 成果的低劣叛徒，尽管明眼人都看得出它根本不是 OSS 生态的好成员，却依然占据着极高的用户关注度。不过如今的 llama.cpp 对普通开发者（当前主要用户群）已经非常实用，对普通大众也完全够用。我真的强烈希望这篇帖子能被开发这些工具的工程师们看到。

无论是 opencode、VS Code Copilot 扩展还是其他任何“开源”AI 工具，我很少见到 llama.cpp 被当作一级支持的提供商。它们全部支持 ollama，偶尔还有 LMStudio。从工程角度来看，把 llama.cpp 列在和 ollama 同样的位置几乎零成本。或者更棒的做法是，提供一个不依赖特定标签的 OpenAI API 兼容端点，让我自行填写端口号和端点地址。这确实令人恼火，因为 ollama 就是个窃取 llama.cpp 成果的低劣叛徒，尽管明眼人都看得出它根本不是 OSS 生态的好成员，却依然占据着极高的用户关注度。不过如今的 llama.cpp 对普通开发者（当前主要用户群）已经非常实用，对普通大众也完全够用。我真的强烈希望这篇帖子能被开发这些工具的工程师们看到。
查看原文

相似文章

使用 llama.cpp 在本地运行的自动化 AI 研究员

Reddit r/LocalLLaMA

ml-intern 是一个面向 AI 代理的工具，它与 Hugging Face 的库集成，现在支持通过 llama.cpp 或 ollama 运行本地模型，使得自动化 AI 研究员可以在笔记本电脑上全天候运行。

ggml-org/llama.cpp

GitHub Trending (daily)

llama.cpp 是一个开源 C/C++ 库，用于在本地硬件上高效运行 LLM 推理，支持多种量化方法和多后端（CPU、GPU 等）。