LLMCap – 一个代理，在你达到美元上限时强制停止LLM API调用

# LLMCap — LLM API 调用的硬性美元上限 来源：https://www.llmcap.io/ LLMCap (https://www.llmcap.io/) · 5 家供应商 · 增加延迟 <35ms · 严格执行 ## 每次 LLM 调用的硬性美元上限。 一旦达到 **$50**，就会停止。不是警报——而是**停止**。只需改动一行代码。 再也没有意外账单。永远没有。 `` client = Anthropic(api_key="sk-ant-...") client = Anthropic( api_key="sk-ant-...", base_url="https://proxy.llmcap.io/anthropic" ) `` 与所有主流供应商兼容 5 分钟即可完成设置 ## LLMCap 的工作原理 18,742 今日被拦截的请求数 无论你在哪里写代码都能使用 ## 融入你的工作流 ### VS Code 扩展 在状态栏实时显示花费。点击即可查看今日用量、消耗速率和被拦截次数——无需离开编辑器。 安装扩展 (https://marketplace.visualstudio.com/items?itemName=llmcap.llmcap) ### 终端 CLI 从命令行查看花费、浏览日志和管理密钥。支持 macOS、Linux 和 Windows。 pip install llmcap 在 PyPI 上查看 (https://pypi.org/project/llmcap/) ### Windows 托盘应用 系统托盘图标实时显示花费。右键可查看统计信息和快速操作。始终可见，从不打扰。 pip install "llmcap[tray]" 获取托盘应用 (https://pypi.org/project/llmcap/) 简洁定价 ## 选择你的套餐 3 天试用，试用结束前不收费 · 随时取消 Starter $19/月 3 天试用后开始收费 - ✓2 个 API 密钥 - ✓全部 5 家供应商 - ✓每日和每月上限 - ✓30 天审计日志 - ✓1 名用户 - ✓邮件支持 开始 3 天试用 (https://buy.stripe.com/5kQ7sLe1pfkv3FF4Xp2Ji00) 试用需要信用卡。在第 3 天之前取消则无需付费。 ## 常见问题 LLMCap 是否会查看或存储我的 API 密钥？+ 不会。你的供应商 API 密钥（例如 sk-ant-...）会在每次请求时通过代理头传递，并立即丢弃。LLMCap 仅存储你的 LLMCap 代理密钥，并使用 bcrypt 哈希处理。我们从不记录你的供应商密钥。 是否支持流式响应？+ 支持——从一开始就支持流式传输。LLMCap 会实时传递 SSE 数据块。如果在流式传输过程中超出预算，连接将被关闭，并发送一个最终的 429 事件。触发上限的那个 token 不会被计费。 达到上限时具体会发生什么？+ 下一个传入的请求在到达供应商之前会被 HTTP 429 拒绝。该 token 不会被消耗，因此你永远不会被计费。你的应用程序会收到与供应商用于速率限制相同的 429 响应结构，因此现有的错误处理逻辑无需改变。 我可以自己托管 LLMCap 吗？+ 自托管已在路线图中。该代理是开源的（FastAPI + Redis）。目前，推荐使用 managed 服务 proxy.llmcap.io——它已经部署完毕，全球延迟低于 35ms。