llm-gateway

标签

Cards List
#llm-gateway

@FinanceYF5: AI中转站OpenRouter凭啥值75亿美金?6分钟讲透 一句话:凭的是,钱从它手里过。你调模型的每一块钱都先过 OpenRouter,它抽 5.5%;同行 Portkey 钱不过手,只卖了 1.17 亿(Palo Alto 10-K)…

X AI KOLs Following ↗ · 6天前 缓存

分析 OpenRouter 为何估值达 750 亿美元:核心在于它作为 AI 模型中转站,所有模型调用资金都经过它并抽成 5.5%,而同类不碰钱的 Portkey 仅以 1.17 亿美元被收购,估值差异达 60 多倍。

0 人收藏 0 人点赞
#llm-gateway

@LangChain:在 Interrupt 大会?来 LangChain Agent Arena 转转,由 @nvidia 赞助 —— 玩俄罗斯方块训练智能体,选择模型 w…

X AI KOLs Timeline ↗ · 2026-10-13 缓存

LangChain 于 Interrupt 大会举办 Agent Arena 活动,由 NVIDIA 赞助:参与者可通过玩俄罗斯方块训练智能体、用 LangSmith LLM Gateway 选择模型,并在排行榜上观看智能体对竞争霸。

0 人收藏 0 人点赞
#llm-gateway

@wquguru: https://x.com/wquguru/status/2109650264601117141

X AI KOLs Timeline ↗ · 2026-10-12 缓存

深度分析 yetone 维护的 magpie(本地 LLM 网关)如何实现全 AI 自动化开发:通过 AGENTS.md 路由表与 LESSONS.md「错题本」形成夜间复盘闭环,19 天产出 1204 个版本,并对照 OpenClaw 说明其人机协作与验收机制。

0 人收藏 0 人点赞
#llm-gateway

25 个 Agent、50 个 MCP 服务器、1 个应用:你会选什么技术栈?

Reddit r/AI_Agents ↗ · 2026-10-09

一位从业者向社区征求建议:如何在 AWS 上构建一个生产级 Agent 平台,包含约 20 个 Agent 和 50 个 MCP 服务器,并在 Bedrock AgentCore、Claude Agent SDK、Strands、LangGraph、A2A、LiteLLM 和 Langfuse 等方案之间权衡取舍,同时要求完整保留 Claude 的全部功能和可用的提示词缓存。文章就框架选择、Agent 间通信、MCP 托管和代码仓库策略寻求推荐。

0 人收藏 0 人点赞
#llm-gateway

@tavilyai: Tavily 现已作为网络搜索引擎在 @Merge_api Gateway 中上线。只需添加 merge:web_search 并将 engine 设为 tavily,即可启用实时、带引用的搜索结果

X AI KOLs Timeline ↗ · 2026-10-08 缓存

Tavily 现已作为网络搜索引擎集成到 Merge Gateway 中,开发者只需在请求中添加 merge:web_search 并将 engine 设为 tavily,即可让模型在推理过程中获取带引用的实时搜索结果,无需单独的 Tavily 账号。

0 人收藏 0 人点赞
#llm-gateway

在我们的试点中,基于Jev的模型路由比高级模型节省了33.2%,但固定中等价位的模型性价比更高

Reddit r/AI_Agents ↗ · 2026-09-26

在LLM Gateway基准测试试点中,基于Jev的模型路由实现了比高级模型节省33.2%的成本,但固定中等价位的模型在任务性能相当的情况下提供了更好的价值。

0 人收藏 0 人点赞
#llm-gateway

@LangChain:我们正在将开源决策模型 SemIf 在 LangSmith LLM Gateway 中免费提供一周。

X AI KOLs Following ↗ · 2026-09-21 缓存

LangChain 宣布,开源决策模型 SemIf 在 LangSmith LLM Gateway 中免费提供一周,且与 TypeSafe SDK 兼容。

0 人收藏 0 人点赞
#llm-gateway

@LangChain: LangSmith LLM Gateway 让您在组织内管控模型访问权限。将密钥锁定到特定模型,其他所有模型…

X AI KOLs Timeline ↗ · 2026-09-14 缓存

LangSmith LLM Gateway 通过将 API 密钥限制为特定模型并自动阻止未授权调用来帮助组织管控模型访问,Opus 5 和 Sonnet 5 演示了此功能。

0 人收藏 0 人点赞
#llm-gateway

如果智能体可以绕过 LLM 网关,它是否实际上充当了控制平面?

Reddit r/AI_Agents ↗ · 2026-09-09

本文探讨了当智能体能够绕过 LLM 网关时的局限性,并建议有效的治理需要结合出站执行和影子检测,以防止未经授权的访问。

0 人收藏 0 人点赞
#llm-gateway

@heyshrutimishra: 大多数团队使用4种不同的工具来追踪他们的AI正在做什么。一种用于路由,一种用于日志,一种用于评估,一种用于……

X AI KOLs Timeline ↗ · 2026-08-27 缓存

文章强调大多数团队使用独立的工具来追踪AI,并介绍了Respan作为一个统一的解决方案,通过单一网关来路由、观察和评估LLM调用。

0 人收藏 0 人点赞
#llm-gateway

@llmgateway: https://x.com/llmgateway/status/2090875947285393595

X AI KOLs Timeline ↗ · 2026-08-21 缓存

TanStack AI 发布了一款官方 LLM Gateway 适配器,使开发者能够使用单个 API 密钥访问来自 40 多家提供商的 200 多个 AI 模型,并支持单行代码切换模型。

0 人收藏 0 人点赞
#llm-gateway

@LangChain:在 LangSmith LLM Gateway 中试用 Kimi K3。仅使用你的 LangSmith API 密钥即可运行 Kimi 3 代理。LangSmith 现已提供…

X AI KOLs Timeline ↗ · 2026-08-06 缓存

LangSmith 的 LLM Gateway 现在通过 Gateway Credits 支持 Kimi K3 和其他开放模型,用户只需使用 LangSmith API 密钥即可调用托管模型,无需配置提供方密钥。

0 人收藏 0 人点赞
#llm-gateway

@LangChain: 使用LangSmith LLM Gateway实现模型回退 不要让模型故障拖垮你的智能体。定义回退规则…

X AI KOLs Following ↗ · 2026-08-04 缓存

LangSmith LLM Gateway现已公开测试版,为生产环境中的智能体模型调用提供集中治理——包括支出上限、速率限制、模型回退以及按客户策略,以防故障和成本超支。

0 人收藏 0 人点赞
#llm-gateway

大家都在构建LLM路由器,我们却弃用了自己的

Hacker News Top ↗ · 2026-07-31 缓存

Manifest解释了为何弃用其LLM路由器,认为模型路由会引入不可预测性、破坏行为一致性,且无法仅凭提示词推断其复杂性,因此对大多数用例而言,缓存和审慎的模型选择更为有效。

0 人收藏 0 人点赞
#llm-gateway

@LangChain: 管理AI代理需要团队从整个系统角度思考,包括认证、审计日志、速率限制、回退…

X AI KOLs Timeline ↗ · 2026-07-20 缓存

LangChain 发布了一份概念指南,阐述了构建可控AI代理的框架,涵盖了认证、审计日志、速率限制、回退和集中化支出控制等系统级治理要素,并介绍了LLM网关作为运行时控制平面的作用。

0 人收藏 0 人点赞
#llm-gateway

@OrcaRouter: Fable 5 已死。我们刚刚将其复活——更便宜、更开放,密钥由你掌握。OpenRouter 在 48 小时前取消了 Fusion,而且……

X AI KOLs Timeline ↗ · 2026-06-15 缓存

OrcaRouter 是一个新的 AI 网关,它智能地将提示路由到最佳模型,提供成本节省、护栏和完全可观测性,零代币加价并有免费层级。

0 人收藏 0 人点赞
#llm-gateway

LLM Gateway Chat

Product Hunt ↗ · 2026-06-15

LLM Gateway Chat 是一个平台,提供对多种AI模型的访问,用于聊天、图像、视频和音频生成。

0 人收藏 0 人点赞
#llm-gateway

我评估了 OpenRouter vs Concentrate.ai vs Portkey vs LiteLLM 作为我们的 LLM 网关。一份真实的对比。

Reddit r/AI_Agents ↗ · 2026-06-02

一份针对 B2B SaaS 产品的 LLM 网关(OpenRouter、Concentrate.ai、Portkey 和 LiteLLM)的详细比较,涵盖特性、成本和治理。

0 人收藏 0 人点赞
#llm-gateway

@LangChain:在LangSmith LLM Gateway之前:一个代理处理包含SSN的请求。现在它存在于LLM提供商日志中,在跟踪数据中,…

X AI KOLs Following ↗ · 2026-05-28 缓存

LangChain宣布,LangSmith LLM Gateway可以在请求到达LLM提供商或日志之前,对类似SSN的敏感数据进行脱敏,从而增强隐私和安全性。

0 人收藏 0 人点赞
#llm-gateway

Harbor v0.4.19 — 使用 vllm/sglang/llama.cpp 启动 codex/claude/pi/opencode

Reddit r/LocalLLaMA ↗ · 2026-05-26

Harbor v0.4.19 新增了通过本地推理后端启动本地智能编码工具的功能,集成了 vllm、sglang 和 llama.cpp,并内置了用于工具注入(如网络搜索)的 LLM 网关。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈