llama.cpp Windows管理器

https://github.com/alekk89/llama-cpp-windows-manager 自我首次分享在Windows上运行llama.cpp的个人解决方案以来，已过去三个月。此后，该项目已有了显著发展。其目标是创建一个简单的可视化界面，用于管理llama.cpp运行时、在编程模型之间切换，并同时保持多个本地端点可用，而无需依赖脚本或手动管理的服务器进程。该应用程序是开源的，可作为Windows安装程序或便携式ZIP文件获取。 其部分功能包括： - 为每个模型创建多个启动配置文件 - 同时运行多个模型 - 通过共享的、兼容OpenAI的网关或分别访问每个模型 - 使用引导式工作流设置原生Windows和WSL运行时 - 跟踪模型和配置文件的生命周期性能指标 - 通过带有清晰描述的可视化界面配置启动设置 - 切换到仅包含最常用设置的简化视图 - 对模型进行分组，以实现协调加载、自动回滚和空闲卸载 - 监控实时性能、服务器日志、槽位和资源使用情况 - 通过经过身份验证的控制API和llwmctl自动化模型管理 我最近看到一些类似的项目出现，因此我认为这对任何想要此类应用但又不想从零开始构建和维护自己解决方案的人可能会有所帮助。欢迎反馈、错误报告和功能建议。