我制作了一款用于在 WSL/Ubuntu 中管理 llama.cpp 的 Windows 应用

我是 Windows 用户，对软件有着比较典型的 Windows 式期待：我不希望仅仅为了安装、构建、配置和运行程序而整天待在终端里。我找不到一款能按照我的方式管理完整的 llama.cpp-on-WSL 工作流的应用，所以我编写了一个。 llama.cpp Console 是一款非官方的 Windows 桌面应用，用于通过 Ubuntu/WSL 设置和运行 llama.cpp 模型。该 Windows 应用本身是一个独立的 WPF 应用，通过用户界面帮助管理 WSL 端。 **GitHub：** [https://github.com/alekk89/llama.cpp-Console](https://github.com/alekk89/llama.cpp-Console) **它可以通过用户界面执行以下操作：** - 检测/安装 WSL 并指导 Ubuntu 设置 - 在 Ubuntu 内安装/更新 CPU 构建工具 - 在 WSL 内安装/更新 CUDA 工具包支持 - 安装/更新 Vulkan 构建依赖 - 从官方仓库或自定义仓库下载 llama.cpp 源代码 - 在 WSL 内构建 CPU、CUDA 或 Vulkan 版本的 llama.cpp 运行时 - 在 Hugging Face 搜索 GGUF 模型 - 下载/注册模型，包括一些兼容性提示以及配套的 projector/mmproj 处理 - 为每个模型设置启动参数 - 选择每个模型应使用的 llama.cpp 运行时/构建版本 - 启动、停止和监督 llama-server - 实时监控 tokens、运行时指标、日志、GPU 状态、利用率和温度 - 跟踪日志、任务、下载和生命周期指标 - 从应用中管理本地 OpenCode 的模型/提供商/代理配置片段，以便快速将配置好的模型添加到 OpenCode 我构建它的主要原因是我希望那些枯燥的设置工作能更像普通的 Windows 软件——只需在用户界面中点选，查看已安装的内容，查看缺少的部分，构建运行时，下载模型，选择启动设置，然后运行，同时仍能完全掌控整个过程。 **几点说明：** - 这是一款以 Windows 为主的应用。实际的 llama.cpp 运行时在 Ubuntu/WSL 中运行。 - 模型服务默认仅限本地。 - 目前该应用一次只专注于一个已激活的模型服务。 - 第一个公开发布版本未签名，因此 Windows SmartScreen 可能会发出警告。发布包中包含 SHA-256 文件。 - 此应用与 llama.cpp 或 ggml-org 无关联，也未获得其认可。 我在本地使用了一个较简单的版本一段时间，然后进行了充分的打磨以发布，希望能对其他 Windows 用户有所帮助。 未来的计划工作包括更快的模型切换、在可能的情况下将模型保持在 RAM 中预热，以及最终支持同时加载多个模型。 请注意，我没有 AMD GPU，因此 Vulkan 安装/构建路径并未在 AMD 硬件上经过我的验证。