为llama.cpp制作了一个简单的模板管理器与图形界面,这样我就不用一直记住命令行参数了。

Reddit r/LocalLLaMA 工具

摘要

Hexllama 是一款免费、开源的桌面图形界面和模板管理器,专为 llama.cpp 设计,简化了命令行参数管理、版本更新以及 HF 模型下载,支持多模型运行。

[Introducing Hexllama](https://reddit.com/link/1tfqrbt/video/uobdgqq1hp1h1/player) 嘿,我一直觉得 **llama-server** 足够用来测试本地模型,主要是因为它能保证你始终拥有最新的 llama.cpp 特性和架构支持。但为不同模型记住不同的 CLI 命令、上下文大小和批次设置,简直成了大麻烦。而且,当我同时运行两个模型时,管理多个终端标签页也很烦人。所以,我构建了 **Hexllama**。这是一个快速的桌面界面,不会妨碍你,只是让管理 llama.cpp 变得更简单。没有围墙花园,只是一个干净的包装器。 **它实际能做什么:** * **基于模板的执行:** 通过可视化编辑器一次性配置好你的 CLI 参数(线程、上下文等),保存为模板,之后只需一键即可运行。 * **内置的 llama.cpp 版本管理器:** 这是我用得最多的功能。它能自动检查 ggml-org 仓库,让你直接在应用内下载新版本,并且可以即时切换后端(当新模型架构发布并需要特定构建时特别有用)。 * **集成的 HF 下载器:** 直接在应用内搜索 HuggingFace。点击下载 GGUFs。它支持暂停/恢复,并在下载完成后根据模型参数自动生成基础执行模板。 * **多模型与仅 API 模式:** 你可以在不同端口上同时运行多个模型而不会冲突。你可以以标准“聊天 UI”模式启动(打开内置的 llama.cpp 网页界面),或者以“仅 API”模式启动,让它们在后台静默提供服务,用于像 SillyTavern 或 OpenWebUI 这样的应用。 它完全开源。我主要是为了自己的工作流程而构建的,但我想你们中的一些人可能会觉得它有用,而不是与 bash 脚本搏斗。免费、开源、采用 MIT 许可。 **GitHub 仓库 + 下载:** [https://andercoder.com/hexllama](https://andercoder.com/hexllama)(可通过预编译版本安装,或从源码构建)。 请告诉我你们的想法!非常感谢任何反馈、bug 报告或 PR。热爱这个子版块。
查看原文

相似文章