llama.cpp 现在通过API支持模型管理（下载等）
摘要
llama.cpp 现在通过API支持模型管理，包括下载和生命周期管理，无需外部工具即可完全部署。
#23976 在几小时前被合并，这意味着 llama.cpp 现在不仅可以从目录按需加载/卸载模型，还可以按需下载模型。还没有用户界面，但很快就会有了。这意味着你现在可以部署 llama.cpp，暴露API，并仅用它来管理完整生命周期，而无需其他工具。
相似文章
Llama.cpp现已全面支持MCP！
llama.cpp现已全面支持适用于所有协议的模型上下文协议（MCP），可在其WebUI中直接实现智能对话和工具集成，无需外部依赖。
llama.cpp Windows管理器
一款开源的Windows应用程序，用于管理llama.cpp运行时，提供可视化界面以同时运行多个AI模型，并具备监控和控制功能。
Llama.cpp 0.2.0 版本发布！
Llama.cpp 是一个流行的开源工具，用于运行 LLaMA 模型，现已发布 0.2.0 版本，包含更新日志和预构建二进制文件，可在 GitHub 上获取。
每次在 vLLM 和 llama.cpp 上换模型都要重写参数，所以我建了个工具来管理它们（llmux, MIT）
一位开发者构建了 llmux，这是一个开源工具，用于简化跨不同引擎（如 vLLM 和 llama.cpp）管理模型配置，支持一键切换，并集成了 Docker 和 NVIDIA GPU 支持。
llama.cpp的Web UI现在支持通过Web Workers在浏览器中执行模型生成的JavaScript（可选加入）
llama.cpp的Web UI现在支持通过Web Workers在沙箱iframe中执行模型生成的JavaScript，作为可选功能实现轻量级的代理代码执行。