tashfeenahmed/freellmapi 来源：https://github.com/tashfeenahmed/freellmapi # FreeLLMAPI 每月 74 亿 token。34 家免费 LLM 提供商。635 个免费模型端点。一个兼容 OpenAI 的端点。 聚合数十家提供商的免费层级，并提供自定义的、兼容 OpenAI 的聊天、嵌入、图像和音频端点，统一通过 /v1 API 提供。密钥经加密存储。路由器会为每个请求选择最佳可用模型，当某个提供商达到速率限制时自动故障转移至下一个提供商，并跟踪每个密钥的使用情况，确保您不会超过任何免费层级的限额。CI (https://github.com/tashfeenahmed/freellmapi/actions/workflows/ci.yml) GitHub 星标 (https://github.com/tashfeenahmed/freellmapi/stargazers) 许可证：MIT 欢迎 PR Docker 镜像 (https://github.com/tashfeenahmed/freellmapi/pkgs/container/freellmapi) 询问 DeepWiki (https://deepwiki.com/tashfeenahmed/freellmapi) freellmapi.co (https://freellmapi.co/?utm_source=github&utm_medium=readme&utm_campaign=repository&utm_content=readme_top) · 浏览完整目录：474 个模型家族，635 个免费端点 英文 · 简体中文 FreeLLMAPI 仪表盘 — 包含月度 token 预算的模型页面 您的路由器会从签名源自动更新其模型目录：新的免费模型、配额变更和兼容性修复无需 git pull 即可生效。免费安装版本获取每月快照，因此模型在加入实时源后 30 天才会出现在其中；高级路由器则同日获取。 立即在 freellmapi.co 上线 (https://freellmapi.co/?utm_source=github&utm_medium=readme&utm_campaign=premium&utm_content=readme_top#pricing)（$19/年，可随时取消）。 — ## 目录 - 为何存在 - 支持的提供商 - 兼容的 CLI 和编程代理 - 对比情况 - 功能特性 - 快速开始 - 桌面应用 - 兼容 OpenAI 客户端 - 语言支持 - 高级版（实时目录） - 使用 API - 截图 - 工作原理 - 常见问题 - 局限性 - 参与贡献 - 免责声明 指南： 安装与部署 · API 参考 · 客户端与编程代理 · 提示压缩 · 架构与内部机制 · 文档索引 · 贡献者指南 ## 为何存在 现在每个严肃的 AI 实验室都提供免费层级——每月几百万 token，每天几千次请求。单独来看，每个层级都只是玩具。但将它们叠加起来，就相当于大约 每月 74 亿 token 的可用推理能力，涵盖从轻量快速到相当强大的 474 个模型家族 / 635 个提供商端点。 问题在于，手动叠加它们非常痛苦：三十四种不同的 SDK，三十四种不同的速率限制，三十四种可能导致请求失败的地方。 FreeLLMAPI 将其简化为一个兼容 OpenAI 的端点。将任何 OpenAI 客户端库指向您的本地服务器，它就能透明地跨您已添加密钥的任何提供商进行路由。而且免费层级的格局每周都在变化：提供商推出模型、停用模型、改变配额，且不发出通知。FreeLLMAPI 会为您跟踪这一切。路由器会自行从 freellmapi.co (https://freellmapi.co) 拉取签名的模型目录，因此您的安装无需 git pull 即可保持最新。参见 高级版（实时目录） 了解其更新速度。免费层级，叠加起来——每月跨 34 家提供商约 74 亿 token 的免费推理能力 ## 支持的提供商 Google Groq Cerebras OpenCode Zen Mistral OpenRouter Cloudflare Cohere Z.ai (智谱) NVIDIA HuggingFace ModelScope Qwen3 · DeepSeek V4 · GLM-5（需要阿里云中国区绑定） … 以及另外 22 家免费提供商 加上一个自定义提供商——从密钥页面，将聊天、嵌入、图像或音频模型指向任何兼容 OpenAI 的端点（llama.cpp、LM Studio、vLLM、本地 Ollama 或远程网关）。完整且始终最新的列表位于 freellmapi.co/models (https://freellmapi.co/models.html)，包含每个模型的速率限制、上下文窗口和免费 token 预算。 ## 兼容的 CLI 和编程代理 Claude Code Codex CLI Gemini CLI Aider Cline Roo Code Continue OpenCode Goose Qwen Code Kilo Code Crush Cursor Zed JetBrains AI DeepSeek Harness … 以及任何兼容 OpenAI 的客户端、Anthropic SDK、Gemini SDK 或支持 Ollama 的应用程序 其中大多数只需一个命令即可配置——npx freellmapi setup-claude、setup-codex、setup-aider、setup-dsh（DeepSeek Harness）以及另外十一个生成器，它们会获取您的实时目录，备份现有配置，且绝不会覆盖已有内容。Claude Code 和 Codex 还提供零持久化启动器（freellmapi launch、freellmapi launch-codex），仅向子进程注入凭据。Zed 和 JetBrains AI 通过可选的 Ollama 模拟 连接；Gemini CLI 则使用其原生格式 /v1beta。各工具的具体配置方法、设置 CLI 参考、用于无头客户端的可撤销 URL 令牌以及 MCP 服务器，都位于 客户端与编程代理 → ## 对比情况 与 OpenRouter、LiteLLM 和 Portkey 的功能对比 基于公开文档，2026 年 7 月——欢迎指正。 ## 功能特性 功能概览 - 所有 OpenAI 风格接口 —— /v1/chat/completions、/v1/responses（Codex CLI 所需）、/v1/completions（编辑器幽灵文本自动补全）、/v1/images/generations、/v1/videos/generations、/v1/audio/speech、/v1/audio/transcriptions、/v1/embeddings 和 /v1/models —— 支持流式和非流式，可通过官方 SDK 或任何兼容 OpenAI 的客户端使用。API 参考 → - Anthropic Messages API —— /v1/messages 使用 Anthropic 的协议格式，通过同一路由器，因此 Claude Code 和官方 Anthropic SDK 可以利用您的免费池。详情 → - 原生 Gemini + Ollama 接口 —— Gemini CLI 可以使用 /v1beta（generateContent、流式、token 计数、模型），而可选的 Ollama 模拟则为 Zed、JetBrains 和其他本地模型客户端提供 NDJSON 聊天/生成、标签、元数据和嵌入功能。 - 融合（多模型综合） —— 请求虚拟 fusion 模型，路由器会将您的提示并行分发给一组多样化的免费模型，然后由一个裁判模型综合生成一个最终答案。详情 → - 图像、视频与语音生成 —— /v1/images/generations、/v1/videos/generations 和 /v1/audio/speech 跨提供媒体模型的提供商路由；图像和语音还接受自定义的兼容 OpenAI 的媒体端点。视频任务在同步和队列化的提供商之间统一处理，并返回已完成的 MP4 文件。 - 工具调用与结构化输出 —— OpenAI 风格的 tools 跨提供商往返（纯文本工具调用会被捕获并转换为真实的 tool_calls），加上 response_format、seed、logprobs、惩罚项以及其他采样参数，均按提供商传递。 - 智能路由，六种策略 —— 实时的模型速度/能力/可靠性评分对您的链进行排序；自动故障转移在遇到 429/5xx 错误时重试下一个模型，并带有冷却时间和密钥轮换。路由详解 → - 统一模型与配置 —— 多个提供商上的同一模型合并为一个条目，支持严格的组内故障转移；命名的回退链配置（编码链、视觉链）可从仪表盘切换，或通过 auto: 按请求切换。 - 按密钥速率跟踪 —— 每个 (平台, 模型, 密钥) 组合的 RPM/RPD/TPM/TPD 计数器会学习提供商报告的上限，因此路由始终不会超过任何限额。 - 自更新模型目录 —— 路由器每天两次从 freellmapi.co 同步签名目录：新模型、配额变更和提供商特有修复会自动应用。免费安装版本跟踪每月快照，模型在加入实时源 30 天后才会出现在其中；高级路由器则同日获取。高级版 → - 会话粘性与上下文交接 —— 对话在一个模型上保持 30 分钟；可选的紧凑交接说明可在聊天中途切换时保持线程连贯性。详情 → - 提示压缩（可选） —— 一个共享的、故障开启的请求管道可以在缓存查找和路由之前，对提示进行去重、过滤工具输出、压缩重复的 JSON 以及修剪过时的上下文。详情 → - 加密密钥，单一令牌输出 —— 提供商密钥在 SQLite 中经 AES-256-GCM 加密，每个请求在内存中解密；您的应用始终只看到一个统一的 freellmapi-... 令牌。 - 管理仪表盘与分析 —— React UI 用于管理密钥、调整链顺序、运行沙盒，以及查看 24 小时至 90 天窗口内的 p50/p95/TTFT 分析；支持登录保护、深色/浅色主题、60 种语言。 - MCP 服务器与交互式文档 —— 代理可通过 /mcp 内省可用模型、提供商健康状况和路由策略；一个无依赖的 OpenAPI 查看器位于 /v1/docs。编程代理 → - 运维便捷功能 —— 可选的响应缓存、加密数据库备份、定期密钥健康检查、批量密钥导入/导出、声明式启动配置。安装与部署 → - 可在任何支持 Node 20+ 的环境运行 —— Windows、macOS、Linux 服务器，或小型 ARM 单板计算机（包括树莓派）。空闲时 RSS 约 40 MB，可配合 PM2 / systemd 或任何您喜欢的进程管理器运行。范围刻意保持精简——参见尚未支持的功能。 ## 快速开始 一行命令（需要 Docker——设置 ~/freellmapi，生成加密密钥，拉取镜像并启动容器）： bash curl -fsSL https://freellmapi.co/install.sh | bash 更倾向于先阅读脚本再执行？脚本在此 (https://freellmapi.co/install.sh)。重新运行是安全的：您的 .env（和加密密钥）将被保留，容器将更新至 :latest。 打开 http://localhost:3001，在 密钥 页面添加您的提供商密钥，根据喜好调整 回退链 顺序，并从 密钥 页面头部获取您的统一 API 密钥。将您的 OpenAI SDK 指向该统一密钥。 在 Windows 上，最简单的方法是从发布页面下载桌面 .exe 安装程序 (https://github.com/tashfeenahmed/freellmapi/releases/latest)（下文）。在 Android 上，请参阅实验性的 Termux 指南。 其他所有内容——Docker Compose、本地开发、声明式启动配置、生产构建、局域网访问和备份——都在 docs/install.md 中。 ## 桌面应用 一个原生的菜单栏应用位于 desktop/：整个路由器 + 仪表盘在本地托盘运行，带有玻璃弹出窗口显示实时请求统计信息。FreeLLMAPI 桌面应用 从发布页面下载 (https://github.com/tashfeenahmed/freellmapi/releases/latest) —— macOS .dmg 和 Windows .exe 安装程序附在每个发布版本中。无需设置帐户或密码：您需要的唯一凭据是托盘弹出窗口中的统一 API 密钥。从源码构建的步骤和数据存储位置：docs/install.md。 ## 兼容 OpenAI 客户端 任何能够指向兼容 OpenAI 基础 URL 的工具都可用：将其设置为 http://localhost:3001/v1，并使用仪表盘中的统一密钥。 Claude Code、Codex CLI、Cline / Roo Code、Continue（包括内联自动补全）、Aider、opencode 和 Cursor 在 docs/clients.md 中各有简短配置说明——路由器同时作为 MCP 服务器，您的代理可以在会话中途内省。 最快的设置是根据您实时服务器上可用的模型生成的： bash npx freellmapi setup-claude --url http://localhost:3001 --api-key 每个生成器都支持 --dry-run，在修改现有文件前创建带时间戳的备份，并合并到用户的配置中。启动器将凭据完全排除在配置文件之外：Claude Code 使用 npx freellmapi launch，Codex 使用 npx freellmapi launch-codex。 | 代理 | 自动设置 | 基础 URL | | — | — | — | | Claude Code | setup-claude | 根目录 | | Codex CLI | setup-codex | /v1 | | Cline | setup-cline | /v1 | | Continue | setup-continue | /v1 | | Aider | setup-aider | /v1 | | OpenCode | setup-opencode | /v1 | | Goose | setup-goose | /v1 | | Qwen Code | setup-qwen | /v1（或原生 /v1beta） | | Roo / Kilo / Crush | setup-roo / setup-kilo / setup-crush | /v1 | | DeepSeek Harness | setup-dsh | /v1 | | MiMo Code | setup-mimo | /v1 | | Cursor | setup-cursor 指南 | 公共 /v1 URL | FreeLLMAPI 设计上是本地优先和单用户的。您的提供商密钥保留在 SQLite 数据库中，静态加密，请求从您的机器发送到您启用的上游提供商。 ## 语言支持 仪表盘提供 60 种语言（桌面托盘菜单提供 6 种）。UI 在首次加载时会自动检测您的浏览器/系统语言，您可以随时从 ⋯ → 设置 中切换；选择会被记住。从右到左的语言（العربية、עברית、فارسی、اردو）会自动翻转整个布局，并且只加载当前语言的字典——其余的不会占用您的带宽。完整的区域设置列表位于 client/src/i18n/locale-config.ts。 最初的六个区域设置经过人工审核；较新的版本是机器翻译的，并随着母语者的更正而改进——一个字符串的 PR 是很好的首次贡献。翻译位于 client/src/i18n/locales/ 中的扁平 JSON 文件。要修复字符串，请编辑区域设置 JSON 文件中的值。要添加语言，请复制 en.json，翻译值，并在 client/src/i18n/locale-config.ts（以及 desktop/src/i18n.ts 用于托盘字符串）中注册区域设置；npm test 会检查每个区域设置的键/占位符一致性——欢迎 PR。 ## 高级版（实时目录） 路由器会自行保持其模型目录新鲜：它每天两次从 freellmapi.co (https://freellmapi.co) 拉取签名目录，并将新模型、配额变更和提供商特有修复应用到您的本地数据库。您自己的启用/禁用选择和自定义提供商永远不会被修改，并且每次下载都会在应用前通过固定的 Ed25519 密钥进行验证。该目录目前跟踪 34 家提供商、474 个模型家族、635 个免费提供商/模型端点（584 个聊天，41 个嵌入，7 个转录，3 个视频），以及大约 每月 74 亿 token 的免费层级容量。在 freellmapi.co/models (https://freellmapi.co/models.html) 浏览完整集合。 免费安装版本拉取相同的签名目录，但来自每月快照：模型在加入实时源 30 天后才会出现在其中，因此免费版本目前大约落后 303 个模型。没有什么会过期，也没有什么功能被削弱——只是到达得晚一些。高级版会在您运行的每个路由器上保持该签名目录实时更新。当提供商推出一个强大的免费模型、悄悄收紧配额或破坏协议格式时，实时源的路由器会在我们发布更新的当天收到它。 立即在 freellmapi.co 上线 → (https://freellmapi.co/?utm_source=github&utm_medium=readme&utm_campaign=premium&utm_content=readme_bottom#pricing) - 每年 19 美元或一次性 49 美元，终身。Stripe 结账；可随时自助取消。 - 一个 fla_ 密钥覆盖您运行的每个路由器：桌面、家庭实验室、树莓派。 - 在仪表盘的 高级版 下激活；可在 freellmapi.co/manage (https://freellmapi.co/manage) 自助取消或管理账单。 - 路由器本身保持 MIT 许可证和完全免费。