Otaku — 面向创意写作的 LLM 前端

我理解这类产品可能并不完全适合本版块，但我仍认为它值得关注，因为它首先是一个面向本地引擎的 LLM 前端，而在设置中关闭设定提取（lore extraction）之后，它同样可以用于与 LLM 的通用对话。Otaku 围绕三个核心理念构建：随着故事增长仍能保持写作质量；保持上下文精简，即使故事很长也不丢失关键细节；提供高质量的界面——浏览器一个，终端一个。 两个界面： - 网页界面（可自定义）——参见[交互式演示](https://otaku-web-demo.enclavum.xyz) - 终端界面——参见其独立的交互式演示 网页界面和终端目前共享相同的功能，只有一个例外——角色库目前仅在网页界面中提供，之后会加入终端。两个界面的区别在于：在终端中你通过斜杠命令执行功能（可用 `/help` 查看参考），而在网页界面中各项操作则通过菜单完成。 不久前我在这里发过一篇介绍，获得了一些积极反馈。从那以后，它新增了以下功能： - **角色库**，支持双向使用：你可以将卡片添加到库中并以它们开篇故事，也可以从零开始写故事，待角色从你的故事中自动提取后，你可以基于该角色在库中创建一张新卡片，或将它关联到已有的卡片； - **类似 NovelAI 的故事模式**：你不是在提示词框中写作，而是直接在对话记录中书写，按下 Enter 后模型会继续； - **附加图片**，图片会保留在上下文中，你可以在故事中稍后引用它们； - **网络搜索工具**，模型可以搜索互联网上的事实； - **提问工具**，模型可以就如何继续故事向你提问； - **注入功能**，类似 SillyTavern 的 Author's Note（作者注释）； - **自定义上下文大小上限**：当故事超出上限时，其中间部分会被摘要替换。 网页界面现在： - 针对移动端做了优化； - 支持 HTTPS 和密码保护； - 新增了若干布局。 ## 安装 Otaku 免费且开源，支持 macOS、Linux 和 Windows。使用 uv 安装——`uv tool install otaku`——或参见 GitHub README 中的其他安装选项。 仓库：https://github.com/enclavum/otaku ## 快速上手 启动时，运行 `otaku` 进入终端，或运行 `otaku web` 启动网页界面。网页界面的默认地址是 http://localhost:9600。 首次启动时会导入两个示例聊天（"故事"）以及示例角色卡片，让你对各项功能和游玩体验有一个直观的了解，而你会直接置身于其中一段故事的中间。 首次启动时，你需要选择提供商和模型：Otaku 会自动检测本地安装的 llama.cpp、KoboldCpp、oMLX 和 LM Studio，让你从它们的模型中选择。也支持云端提供商（OpenRouter、NanoGPT）——输入 API 密钥后，它们的模型目录就会出现。 探索完自带的故事后，你可以用 `/new` 命令开始自己的聊天。 ## 角色扮演 Otaku 主要面向创意写作和角色扮演开发，是 SillyTavern 之类的替代品。其上下文构建机制本身在一份[工程文档](https://github.com/enclavum/otaku/blob/main/engineering.md)中有所描述，感兴趣的人也可以看看。 ## 征求反馈 Otaku 是一个个人业余项目，我希望从社区获得关于产品本身以及应该补充哪些功能的反馈。