严肃的AI用户是想要一个订阅,还是一个连接所有提供商的本地应用?
摘要
本文分享了构建 KeyRing AI 的架构经验,KeyRing AI 是一款本地优先的桌面应用,无需中央中继即可连接多个 AI 提供商,并讨论了技术限制和新颖的许可方式。
全面声明:我是 KeyRing AI 的创始人,这是一款用于跨多个 AI 提供商工作的本地优先桌面应用。目前这不是开源的,所以如果这让文章对某些人来说不那么有用,我能理解。**我在此分享架构/经验教训,而不是要求任何人注册。**
核心架构决策是避免成为提示中继。桌面应用在本地存储提供商凭据,在用户机器上运行编排层,并直接从用户机器向提供商 API 发送请求。网站不在 AI 请求路径中。它处理商业/分发流程,如账户、许可证验证、下载和更新。
**这种分离带来了一些技术限制:**
1. *提供程序适配器需要通用的内部结果形状,而不会抹平提供程序特定的功能。*
2. *工具定义必须按提供程序进行翻译,而不是内联手动构建。*
3. *流式和非流式响应需要兼容的规范化,以便 UI 可以一致地处理它们。*
4. *本地历史记录必须在不将对话状态发送到中央后端的情况下有用。*
5. *许可证必须能够在不强制通过许可服务器发送提示的情况下执行。*
许可部分是其中更有趣的经验之一。普通的 SaaS 可以在每个服务器请求上强制执行访问。本地优先的应用不能依赖这种模式。我采用的方法是服务器端许可证验证,然后是一个短期有效的 Ed25519 签名授权信封。在运行受保护的提供程序工作流之前,桌面端在本地验证签名、签发者、受众、机器绑定和有效期。
**目前的限制:**
* BYOK 设置仍然比普通 Web 登录更麻烦。
* 提供程序 API 不会统一公开功能,因此能力映射是持续进行的工作。
* 本地优先并不意味着仅本地推理;许多请求仍然发送到云 AI 提供商。
* 跨提供程序比较很有用,但如果用户盲目启用所有功能,可能会变得昂贵。
文档/上下文: [https://keyringlabs.com/docs](https://keyringlabs.com/docs) [https://keyringlabs.com/architecture](https://keyringlabs.com/architecture)
对于那些构建过 AI 客户端或提供程序抽象层的人:在无中继、多提供程序桌面架构中,你们会最密切关注哪些故障模式?
相似文章
AI实验室哪种商业模式更好:订阅制还是API?(2分钟阅读)
简要分析比较AI实验室的订阅制和API商业模式,权衡每种方法的利弊。
你是否认真尝试过本地AI?
作者认为本地AI因可用性障碍而被低估,并介绍了他们的项目Euler,旨在让本地AI像云AI一样无缝,同时具备隐私和所有权优势。
@arnestrickmann:一个 App,所有 Agent
一款新应用承诺将多个 AI Agent 的访问整合到单一界面。
本地 AI 应成为常态
本文指出,出于隐私和可靠性方面的顾虑,不应依赖云端托管的 AI API,并倡导采用设备端 AI 处理模式,文中以一款利用 Apple 本地模型 API 的原生 iOS 应用为例进行了说明。
每一份AI订阅都是企业的定时炸弹
文章指出,当前AI订阅定价严重依赖OpenAI、Anthropic和Google等供应商的补贴,这为依赖人为低价构建工作流程的企业埋下了定时炸弹;一旦价格回调,这些组织将面临成本的大幅飙升。