为llama.cpp制作了一个简单的模板管理器与图形界面,这样我就不用一直记住命令行参数了。
摘要
Hexllama 是一款免费、开源的桌面图形界面和模板管理器,专为 llama.cpp 设计,简化了命令行参数管理、版本更新以及 HF 模型下载,支持多模型运行。
[Introducing Hexllama](https://reddit.com/link/1tfqrbt/video/uobdgqq1hp1h1/player) 嘿,我一直觉得 **llama-server** 足够用来测试本地模型,主要是因为它能保证你始终拥有最新的 llama.cpp 特性和架构支持。但为不同模型记住不同的 CLI 命令、上下文大小和批次设置,简直成了大麻烦。而且,当我同时运行两个模型时,管理多个终端标签页也很烦人。所以,我构建了 **Hexllama**。这是一个快速的桌面界面,不会妨碍你,只是让管理 llama.cpp 变得更简单。没有围墙花园,只是一个干净的包装器。
**它实际能做什么:**
* **基于模板的执行:** 通过可视化编辑器一次性配置好你的 CLI 参数(线程、上下文等),保存为模板,之后只需一键即可运行。
* **内置的 llama.cpp 版本管理器:** 这是我用得最多的功能。它能自动检查 ggml-org 仓库,让你直接在应用内下载新版本,并且可以即时切换后端(当新模型架构发布并需要特定构建时特别有用)。
* **集成的 HF 下载器:** 直接在应用内搜索 HuggingFace。点击下载 GGUFs。它支持暂停/恢复,并在下载完成后根据模型参数自动生成基础执行模板。
* **多模型与仅 API 模式:** 你可以在不同端口上同时运行多个模型而不会冲突。你可以以标准“聊天 UI”模式启动(打开内置的 llama.cpp 网页界面),或者以“仅 API”模式启动,让它们在后台静默提供服务,用于像 SillyTavern 或 OpenWebUI 这样的应用。
它完全开源。我主要是为了自己的工作流程而构建的,但我想你们中的一些人可能会觉得它有用,而不是与 bash 脚本搏斗。免费、开源、采用 MIT 许可。
**GitHub 仓库 + 下载:** [https://andercoder.com/hexllama](https://andercoder.com/hexllama)(可通过预编译版本安装,或从源码构建)。
请告诉我你们的想法!非常感谢任何反馈、bug 报告或 PR。热爱这个子版块。
相似文章
这是一个llama.cpp CLI命令构建器。
一个用于llama.cpp的静态Linux命令构建器,帮助构建CLI命令、运行基准测试并记录结果。
LlamaStation v0.9——面向Windows的llama.cpp图形界面,支持多后端、TurboQuant、MTP等
LlamaStation v0.9 是 llama.cpp 的 Windows 图形界面,提供简洁的界面和完整的参数控制,支持多个后端(官方、TurboQuant、AtomicChat、BeeLlama),实时显存监控、模型专属配置文件、语音模式和无头模式,所有这些都不需要像 Ollama 这样的中间层。
我制作了一款用于在 WSL/Ubuntu 中管理 llama.cpp 的 Windows 应用
llama.cpp Console 是一款 Windows 桌面应用,提供图形界面来管理 WSL/Ubuntu 中的 llama.cpp,涵盖安装、构建、模型下载和服务部署。
llama.cpp server 现已内置原生工具(exec_shell、edit_file 等)
llama.cpp server 现通过实验性标志内置了原生工具,支持文件操作、shell 命令等功能,无需外部包装器。
llama : 网站 + 统一的 `llama` 二进制文件 · ggml-org/llama.cpp · 讨论 #23875
Llama.cpp 宣布推出新网站和统一的 'llama' 二进制文件,以简化 LLM 推理,同时还包括 Hugging Face 缓存迁移和多模态支持等更新。