Llama-Studio, 用于管理 llama-server 的 WebUI

大家好，我为自己构建了一个用于配置和管理 llama-server 会话的 WebUI，想分享一下代码和概念。使用 Python 和一些 JS。随意修改！仅限本地使用。https://github.com/m94301/llama-studio 主要用途是在固定端口上运行多个 llama-server 实例，作为家庭开发（及娱乐）框架的基础设施。也就是：调整设置、比较实验版本与主线版本并进行优化。也适合日常随意折腾。配置按模型保存为 JSON，包含所有启动参数和自定义 llama-server 的可选路径。我有一个启动参数浏览器，利用当前 llama-server 的实际 -help 输出进行搜索。我讨厌忘记启动参数格式而不得不打开新终端查看 -help。Spec MTP 是什么？草稿类型又是谁？启动时可选择 GPU，监控显存、负载和温度。还有一个略显基础的显存计算器，帮助估计使用不同量化时哪些模型能适配。最后，还有一个合理的移动端界面，以便在地下室或 IT 机房时用手机进行测试和配置调整。显示和隐藏日志，启动、停止、更改配置。减少在手机小键盘上的按键次数。理智值 +100。