严肃的AI用户是想要一个订阅,还是一个连接所有提供商的本地应用?

Reddit r/ArtificialInteligence 产品

摘要

本文分享了构建 KeyRing AI 的架构经验,KeyRing AI 是一款本地优先的桌面应用,无需中央中继即可连接多个 AI 提供商,并讨论了技术限制和新颖的许可方式。

全面声明:我是 KeyRing AI 的创始人,这是一款用于跨多个 AI 提供商工作的本地优先桌面应用。目前这不是开源的,所以如果这让文章对某些人来说不那么有用,我能理解。**我在此分享架构/经验教训,而不是要求任何人注册。** 核心架构决策是避免成为提示中继。桌面应用在本地存储提供商凭据,在用户机器上运行编排层,并直接从用户机器向提供商 API 发送请求。网站不在 AI 请求路径中。它处理商业/分发流程,如账户、许可证验证、下载和更新。 **这种分离带来了一些技术限制:** 1. *提供程序适配器需要通用的内部结果形状,而不会抹平提供程序特定的功能。* 2. *工具定义必须按提供程序进行翻译,而不是内联手动构建。* 3. *流式和非流式响应需要兼容的规范化,以便 UI 可以一致地处理它们。* 4. *本地历史记录必须在不将对话状态发送到中央后端的情况下有用。* 5. *许可证必须能够在不强制通过许可服务器发送提示的情况下执行。* 许可部分是其中更有趣的经验之一。普通的 SaaS 可以在每个服务器请求上强制执行访问。本地优先的应用不能依赖这种模式。我采用的方法是服务器端许可证验证,然后是一个短期有效的 Ed25519 签名授权信封。在运行受保护的提供程序工作流之前,桌面端在本地验证签名、签发者、受众、机器绑定和有效期。 **目前的限制:** * BYOK 设置仍然比普通 Web 登录更麻烦。 * 提供程序 API 不会统一公开功能,因此能力映射是持续进行的工作。 * 本地优先并不意味着仅本地推理;许多请求仍然发送到云 AI 提供商。 * 跨提供程序比较很有用,但如果用户盲目启用所有功能,可能会变得昂贵。 文档/上下文: [https://keyringlabs.com/docs](https://keyringlabs.com/docs) [https://keyringlabs.com/architecture](https://keyringlabs.com/architecture) 对于那些构建过 AI 客户端或提供程序抽象层的人:在无中继、多提供程序桌面架构中,你们会最密切关注哪些故障模式?
查看原文

相似文章

你是否认真尝试过本地AI?

Reddit r/ArtificialInteligence

作者认为本地AI因可用性障碍而被低估,并介绍了他们的项目Euler,旨在让本地AI像云AI一样无缝,同时具备隐私和所有权优势。

本地 AI 应成为常态

Hacker News Top

本文指出,出于隐私和可靠性方面的顾虑,不应依赖云端托管的 AI API,并倡导采用设备端 AI 处理模式,文中以一款利用 Apple 本地模型 API 的原生 iOS 应用为例进行了说明。

每一份AI订阅都是企业的定时炸弹

Hacker News Top

文章指出,当前AI订阅定价严重依赖OpenAI、Anthropic和Google等供应商的补贴,这为依赖人为低价构建工作流程的企业埋下了定时炸弹;一旦价格回调,这些组织将面临成本的大幅飙升。