TextGen 现已成为原生桌面应用，是 LM Studio（前身为 text-generation-webui）的开源替代方案。

大家好，我一直在对项目进行大量更新，想在这里分享一下。TextGen（前身为 text-generation-webui，也常被称为我的用户名 oobabooga 或 ooba）自 2022 年 12 月起一直在开发，早于 LLaMa 和 llama.cpp 的出现。在过去的两个月里，该项目已从 Web UI 演变为适用于 Windows、Linux 和 macOS 的**免安装桌面应用**，并拥有精致的用户界面。我创建了一个极其精简且优雅的 Electron 集成方案来实现这一点。（你知道吗，LM Studio 实际上也是基于 Electron 运行的 Web UI？恐怕知道这一点的人不多。）https://preview.redd.it/tk8oibhgjw0h1.png?width=1686&format=png&auto=webp&s=95c70f769766466885c8fdc6e7211525a371a920 工作原理如下： 1. 从 [发布页面](https://github.com/oobabooga/textgen/releases) 下载*便携版构建* 2. 解压文件 3. 双击 textgen 4. 窗口出现 无需安装，且绝不会在解压文件夹之外创建任何文件。它完全自包含。所有的聊天记录和设置都存储在构建包自带的 `user_data` 文件夹中。提供了针对 CUDA、Vulkan、仅 CPU、Mac（Apple Silicon 和 Intel）以及 ROCm 的构建版本。 一些差异化特性： * 完全隐私。与 LM Studio 不同，它不会在每次启动时向服务器发送包含操作系统、CPU 架构、应用版本和推理后端选择的信息。零出站请求。 * ik\_llama.cpp 构建（LM Studio 和 Ollama 仅提供原生 llama.cpp）。ik\_llama.cpp 包含如 IQ4\_KS 和 IQ5\_KS 等新量化类型，具有最先进的量化精度。 * 通过 `ddgs` Python 库内置网页搜索功能，既可通过内置的 `web_search` 工具进行工具调用（与 Qwen 3.6 和 Gemma 4 完美兼容），也可通过“启用网页搜索”复选框将搜索结果作为文本附件获取。 * 通过 3 种选项支持工具调用：单文件 .py 工具（创建自定义函数非常简单）、HTTP MCP 服务器和 stdio MCP 服务器。你可以启用确认功能，这样每个工具调用在执行前都会显示批准/拒绝按钮。我写了一篇指南[在这里](https://github.com/oobabooga/textgen/wiki/Tool-Calling-Tutorial)。 * 除了常规指令跟随对话外，还可以创建自定义角色用于休闲聊天：https://preview.redd.it/anlkyz6ijw0h1.png?width=1686&format=png&auto=webp&s=e8783773865c8c0721bd1474d583fd96604c3d38 * 符合 OpenAI 和 Anthropic 规范的 API，具有非常严格的规范兼容性。**它与 Claude Code 兼容**：你可以加载模型并运行 `ANTHROPIC_BASE_URL=http://127.0.0.1:5000 claude`，它将正常工作。 * 使用 `PyMuPDF` Python 库进行准确的 PDF 文本提取。 * 使用 `trafilatura` 获取网页内容，从页面中剥离导航和样板内容，从而节省代理工具循环中的大量 token。 * 聊天模板通过 Python 的 Jinja2 库渲染，这对于 llama.cpp 的 C++ Jinja 重新实现有时会导致崩溃的模板非常有效。 这是我出于热情/爱好撰写的项目。一如既往地免费且开源（AGPLv3）：[https://github.com/oobabooga/textgen](https://github.com/oobabooga/textgen)