为什么没有任何 OSS 工具将 llama.cpp 视为一等公民？

Reddit r/LocalLLaMA 新闻
llama-cpp open-source local-llm developer-tools ollama ai-tooling

摘要

无论是 opencode、VS Code Copilot 扩展还是其他任何“开源”AI 工具，我很少见到 llama.cpp 被当作一级支持的提供商。它们全部支持 ollama，偶尔还有 LMStudio。从工程角度来看，把 llama.cpp 列在和 ollama 同样的位置几乎零成本。或者更棒的做法是，提供一个不依赖特定标签的 OpenAI API 兼容端点，让我自行填写端口号和端点地址。这确实令人恼火，因为 ollama 就是个窃取 llama.cpp 成果的低劣叛徒，尽管明眼人都看得出它根本不是 OSS 生态的好成员，却依然占据着极高的用户关注度。不过如今的 llama.cpp 对普通开发者（当前主要用户群）已经非常实用，对普通大众也完全够用。我真的强烈希望这篇帖子能被开发这些工具的工程师们看到。

无论是 opencode、VS Code Copilot 扩展还是其他任何“开源”AI 工具，我很少见到 llama.cpp 被当作一级支持的提供商。它们全部支持 ollama，偶尔还有 LMStudio。从工程角度来看，把 llama.cpp 列在和 ollama 同样的位置几乎零成本。或者更棒的做法是，提供一个不依赖特定标签的 OpenAI API 兼容端点，让我自行填写端口号和端点地址。这确实令人恼火，因为 ollama 就是个窃取 llama.cpp 成果的低劣叛徒，尽管明眼人都看得出它根本不是 OSS 生态的好成员，却依然占据着极高的用户关注度。不过如今的 llama.cpp 对普通开发者（当前主要用户群）已经非常实用，对普通大众也完全够用。我真的强烈希望这篇帖子能被开发这些工具的工程师们看到。
查看原文

相似文章

停止使用 Ollama

Reddit r/LocalLLaMA

Ollama 因未能正确归功其所依赖的 llama.cpp 项目、违反 MIT 许可证要求，以及接受风险投资资金并偏离其本地优先的使命而受到批评。

llama.cpp

Hacker News Top

本文介绍了 llama.cpp 的官方主页，这是一个开源的本地 LLM 推理引擎，重点介绍了通过 pi-llama 插件与 Pi 编码代理的集成以及广泛的硬件优化。