比较机密推理API

我一直在寻找那些提供商在技术上无法读取提示的推理API，而不仅仅是承诺ZDR。目前看来，最有趣的四个是Privatemode、Tinfoil、NEAR AI和Chutes。Privatemode在我看来可能有最清晰的安全故事。他们的技术栈是开源的，采用可重现构建、远程认证和端到端加密到保密工作器，并使用NVIDIA保密GPU。他们还在欧盟托管。权衡在于模型选择相对较少，并且如果你想获得完整的端到端加密和验证设置，需要使用他们的代理。https://docs.privatemode.ai/security/pqc/ Tinfoil看起来同样强大，但采用了略有不同的方法。他们的enclave代码是开源的，并将运行测量链接到他们的公共构建/Sigstore基础设施。我喜欢客户端可以验证它连接的是哪个enclave，而不仅仅是信任API端点。与Privatemode相比，他们更依赖于构建来源和透明度，而不是可重现构建，并且模型选择也相当有限。https://docs.tinfoil.sh/verification/verification-in-tinfoil NEAR AI似乎是一个不错的折中。他们的端到端加密流程使用TDX + NVIDIA保密计算为经过认证的推理实例加密请求，并且模型选择比Privatemode或Tinfoil更好。对我来说，缺点是他们的验证过程感觉不那么直接。我还不确定从公共源代码到我实际发送提示的工作负载的完整链是否可以独立验证。https://docs.near.ai/cloud/guides/e2ee-chat-completions/ 如果价格和模型选择重要，Chutes似乎最具吸引力。他们的端到端加密设置专门为经过认证的保密实例加密请求，而普通的API层只处理用于路由和计费的密文。他们有庞大的模型选择，价格非常便宜，并且开源了他们TEE技术栈的很大一部分。权衡是整个系统有更多组件，我对源代码/构建/测量链的成熟度和独立可验证性信心不足。https://chutes.ai/news/end-to-end-encrypted-ai-inference-with-post-quantum-cryptography 最终，我试图弄清楚的是有多少实际上是可证明的。一个TEE本身并不能阻止TEE内部的恶意代码解密提示并将其发送到其他地方。理想情况下，我希望源代码公开，构建可重现或以其他方式可验证，并且客户端在给工作负载访问提示之前检查经过认证的测量。这样你是在验证实际接收明文的是什么代码，而不仅仅是在验证某些东西在TEE中运行。有人在这里深入研究过这些或在生产中使用过它们吗？我特别好奇是否遗漏了它们在验证模型方面的重要差异，或者是否遗漏了任何提供商。