当你还在包装OpenAI的时候， 我已经在研究CUDA了。

当你还在跟VC闲聊的时候， 我已经把推理服务器玩明白了。

现在开源AI来了，你倒有脸来找我帮忙？

行！我写了份文档。

https://t.co/95XSG31K0P

modal-projects/modal-jazz

来源：https://github.com/modal-projects/modal-jazz

🎷 Modal Jazz

爵士精神就是开放精神。

——赫比·汉考克，论软件许可

我先弹出来，再告诉你它是什么。

——迈尔斯·戴维斯，论氛围编码

这个仓库汇集了一套完整的“开源AI栈”——运行智能语言模型及其辅助完成有用任务的接口所需的一切。它基于 Modal (https://modal.com) 构建。

开源语言模型后端

语言模型采用 DeepSeek V4 Pro (https://api-docs.deepseek.com/news/news260424)。

运行环境包括：

• Nvidia B200 GPU
• Modal (https://modal.com/) 云部署平台（项目赞助方）
• SGLang 推理服务器 (https://github.com/sgl-project/sglang)
• OpenAI 兼容的 API 接口（基于 /chat/completions）。

为加速模型权重下载，你需要添加一个 Hugging Face (https://huggingface.co/) 访问令牌，并作为 Modal Secret (https://modal.com/secrets) 存储。

对于单个用户，该设置可实现 >150 tok/s 的输出速度。

开源前端 - /frontends

智能编码 TUI + WebUI - OpenCode

OpenCode (https://opencode.ai) 是一个终端用户界面，用于连接人类用户、语言模型和计算机终端，类似于 Anthropic 的 Claude Code (https://code.claude.com/docs/en/overview)，但支持更广泛的 LLM API。

我们提供了将自托管 LLM 与 OpenCode 集成，以及在 Modal 上部署 OpenCode 服务器的说明，详见 这里。

智能助手 - OpenClaw

OpenClaw (https://docs.openclaw.ai) 是一个注重最大可集成性的智能助手系统。

我们提供了将自托管 LLM 与 OpenClaw 集成的说明，详见 这里。

聊天 Web UI - AI SDK

Vercel AI SDK (https://ai-sdk.dev/) 提供核心和 UI 两个子 SDK，用于将 JavaScript 应用与 LLM 集成。

我们展示了如何简单地将此栈与自托管 LLM 集成——包括一个“Hello World”级别的 NodeJS CLI 集成（详见 这里）和一个完整的 NextJS 应用（详见 这里）。

该应用已部署在此处 (https://jazz.modal.chat)。

聊天 CLI - llm

我们喜欢 Simon Willison 的 llm CLI 工具 (https://github.com/simonw/llm)，用于在终端中快速执行 LLM 查询。

它通过与 OpenAI 模型相同的接口，支持与 OpenAI 兼容的 API 提供商（如我们的自托管 LLM）集成。文档见此处 (https://llm.datasette.io/en/stable/other-models.html)。

我们在 llm_show_reasoning 中演示了一个小插件，用于打印 LLM 的推理输出——OpenAI 推理模型不提供此功能，但开源模型可以。这能有效降低表观延迟。