我刚刚花了数周时间从头重写我的 webUI,清除了代码库中所有 AI 垃圾代码,并将其切换到一个合适的轻量级框架(Alpine.js)。现在我可以放心地把它推荐为 openwebUI、librechat 等工具的替代品!它是为本地模型设计的。

Reddit r/LocalLLaMA 工具

摘要

开发者宣布推出 OpenLumara,一个完全开源、本地优先的 webUI,用于与本地模型聊天,使用 Alpine.js 从头重写,以消除 AI 生成的代码。它提供了诸如 token 效率、实时工具调用查看以及对模型无额外请求等功能。

[完全开源,采用 GPL3 许可证,从头开始为本地模型打造,无订阅,无企业支持] 当我最初开始这个项目时,它的目标是成为 openclaw、hermes 等工具的完全轻量级、高度模块化的替代品,现在依然如此!但我注意到人们特别喜欢这个 webUI,甚至只把它当作一个与本地模型聊天的 webUI 来使用,完全忽略了所有智能体相关功能。但当时这个 webUI 仍包含大量 AI 生成的代码,这让我无法接受!所以我从头开始,手动重写了整个项目。现在它超级快、稳定,使用声明式 JavaScript,没有 JavaScript 框架的臃肿(没有 React 或 Vue 之类的……Alpine.js 非常轻量)。只有少量 Python 依赖。不会安装任何模型,没有捆绑推理引擎,甚至不包含 PyTorch 和 Transformers!我期望你将其连接到 llamacpp、koboldcpp、lemonade 或其他类似的工具。当然,如果你真的想,也可以使用云 API。这是一个真正的本地优先 webUI。我从头到尾都是为本地 AI 设计的,在这里,云 AI 第一次成为了二等公民。它有许多特别有利于本地 AI 用户的功能:你可以看到提示词处理需要多长时间(这是 llamacpp 独有的功能),你可以实时看到工具调用的编写过程(对编码非常有用),而且它不会向你的模型发送任何额外请求,只发送你给出的提示词。因此,不会为了给你的聊天生成标题或生成后续回复而发送额外请求。除此之外,它还具有类似 harness 的设计带来的好处,例如支持多个频道(Telegram、Discord 等)、专注于极致的 token 效率、使系统提示词非常简短精炼,以及安全性。但将其作为纯 webUI 使用非常简单:只需在设置中的 Model 选项卡中关闭 Use Tools 选项即可。这会让所有系统提示词立即消失,所有工具被禁用,这样你就是在与你的纯粹模型对话,没有任何东西干扰。你确实需要一点技术知识,但不需要太多。目前,你需要通过 git clone 或从 GitHub 下载主分支的 zip 文件,之后,你只需要运行 run.sh 或 run.bat,然后在浏览器中打开它显示的 URL 即可。哦,你需要在运行前安装 Python,但基本上就这些了。(不过,我正在努力让它对用户更友好。)如果你想试试,可以从这里获取:https://github.com/Rose22/openlumara 请告诉我你的想法!非常欢迎反馈,我经常会实现功能请求(如果它们合理的话)并修复报告的 bug。
查看原文

相似文章

Open WebUI 的更简单的自托管替代方案

Reddit r/LocalLLaMA

OvertChat 是 Open WebUI 的一个更简单、精致的自托管替代方案,适用于本地 AI 模型,具有单一的 Docker Compose 设置、内置网页搜索和 Kokoro TTS,全部采用 MIT 许可证。

Open WebUI 桌面版发布!

Reddit r/LocalLLaMA

Open WebUI 桌面版以原生应用形态登场,无需 Docker 或终端配置即可本地运行 LLM 或连接远程服务器,支持离线运行、系统级语音输入及悬浮聊天窗口。