@GoogleCloudTech: https://x.com/GoogleCloudTech/status/2103546141795143800

X AI KOLs Timeline 新闻

摘要

文章详细介绍了四种用于私有和本地AI部署的安全架构,从客户端推理到气隙数据中心,以应对数据驻留、延迟和监管要求。

https://t.co/RA0FozDTJa
查看原文
查看缓存全文

缓存时间: 2026/09/26 08:54

在不超出安全边界的前提下运行私有和本地AI的四种架构

大多数企业架构评审将AI部署视为陷阱:要么将敏感数据负载发送到多租户公共API,要么自建GPU集群并从头搭建推理平台。一旦数据驻留规则、低于50毫秒的延迟目标或严格的监管控制进入考量范围,单一的集中式端点就不再适用。

这种二元选择具有误导性。实际上,“私有AI”并非单一的部署模式。它更应被视为一个连续的光谱:涵盖从在用户本地NPU上运行模型,到建立安全的云环境以及完全物理隔离的服务器机架等所有场景。真正的工程任务与挑战在于,将每个工作负载的威胁模型和延迟预算与合适的硬件边界进行匹配。

作者:Sergio Villani,Google Cloud AI 技术解决方案团队

以下是我们目前与工程团队共同使用的四个隔离层级,按从客户端设备到物理隔离数据中心的顺序排列:

  • 客户端芯片(LiteRT、LiteRT-LM、LiteRT.js 和 Gemini Nano):用于在移动NPU和浏览器上实现零出站流量、0毫秒网络往返延迟的推理。

  • 机密计算飞地(配备NVIDIA H100 GPU的机密虚拟机和Confidential Space):用于实现云端CPU和GPU内存的硬件级加密。

  • 私有VPC自托管(配备vLLM和JetStream的GKE):在VPC服务控制边界内实现完整的权重和日志托管。

  • 物理隔离机架(Google Distributed Cloud Air-Gapped):用于与Google或互联网零连接的主权工作负载。

1. 当原始媒体数据不能跨网络传输时,在客户端芯片上运行推理

如果您正在构建医疗信息采集应用、金融文档扫描器或无障碍工具,通过隐私审计最直接的方式就是根本不需要传输用户的原始数据负载。当推理在客户端应用程序或浏览器运行时内执行时,原始的摄像头帧、语音音频和本地文件将始终保持在本地RAM中。同时,您的后端令牌成本降为零,并且消除了网络往返延迟(0毫秒RTT)。

根据您是提供自己的权重还是调用系统管理模型,我们客户端执行路径分为两条:

当您需要自定义或开放权重(例如量化的Gemma 3 1B或4B)时,LiteRT(前身为TensorFlow Lite)可使用高通Hexagon DSP (QNN)、联发科NeuroPilot、Apple Metal和Core ML、GPU (MLDrift) 以及用于CPU的XNNPACK等硬件代理,直接在移动和嵌入式芯片上编译和执行模型。对于跨移动、桌面和Web的生成式AI流水线,LiteRT-LM和LiteRT.js (@litertjs/core)在浏览器中使用WebGPU直接在客户端硬件上执行量化模型,并以WebAssembly (XNNPACK) 作为CPU后备方案。

当您无法承担为移动APK或Web捆绑包增加数GB模型下载量时,Gemini Nano可作为共享系统服务运行。在Android上,应用程序通过ML Kit GenAI API(com.google.mlkit:genai-summarization、genai-proofreading、genai-rewriting、genai-image-description、genai-speech-recognition以及底层的genai-prompt API)经由IPC访问AICore托管的Gemini Nano,在操作系统中共享单个系统管理的模型实例,无需在APK中打包权重。在桌面上,Chrome原生内置Gemini Nano,支持其内置的Web AI API,本地执行推理,模型调用本身无需往返Google服务器。

如何应用: 审查您当前的LLM流水线中的预处理步骤,如PII(个人身份信息)脱敏、语音转录或草案摘要。您可以在一个下午内,使用WebGPU上的LiteRT-LM和LiteRT.js (@litertjs/core),将PII清理工作卸载到浏览器中的量化Gemma模型,确保原始用户输入在客户端即完成净化,然后才有一个数据包触及您的VPC。

2. 当您需要可验证隔离的云规模时,对使用中的CPU和GPU内存进行加密

有时,设备端3B参数的模型不够用,您需要在云端进行70B+参数的推理。如果您正在处理受监管的医疗记录,或合并来自两家竞争银行的数据集,标准的静态加密(CMEK)和传输中加密(TLS)仍然存在漏洞:数据在推理过程中必须在内存中解密。您的安全团队会问,如果主机虚拟机监控程序被破坏,谁可能检查该内存。

Google Cloud通过机密计算在芯片层消除了这个漏洞。标准机密虚拟机使用AMD SEV-SNP和Intel TDX,利用在CPU芯片内部生成的临时密钥对CPU系统内存进行加密,阻止主机虚拟机监控程序和云管理员读取虚拟机内存。

对于LLM工作负载,仅CPU内存加密还不够,因为模型权重和KV缓存激活值存储在GPU显存中。通过在配备NVIDIA H100 GPU的A3实例(a3-highgpu-1g)上部署机密虚拟机,Intel TDX CPU飞地可以通过PCIe直接与NVIDIA Hopper H100硬件TEE建立加密的SPDM会话。在活动令牌生成期间,CPU RAM和GPU高带宽内存(HBM)均保持加密状态。

当多个组织需要在不互相信任或不信任工作负载操作者的情况下运行联合推理时,Confidential Space将工作负载封装在基于Container-Optimized OS的锁定、不可变的容器镜像中。在Cloud KMS释放模型权重或输入数据集的解密密钥之前,硬件会生成一个密码学远程证明令牌,证明特定签名的容器镜像未经修改地在飞地中运行。

如何应用: 对于GKE上的CPU密集型编排和RAG流水线,在N2D/C2D (AMD SEV-SNP)或C3 (Intel TDX)节点池上启用机密GKE节点(–enable-confidential-nodes)。对于GPU加速的LLM推理,部署一个独立的H100机密虚拟机(a3-highgpu-1g),并与Confidential Space配对,这样您的Cloud KMS密钥策略会拒绝来自任何未经证明的容器镜像的解密请求。

3. 当您需要完全控制权重和日志时,在零出站流量的VPC内自托管开放权重

当合规性要求您控制网络边界内精确的模型检查点、权重生命周期和每个令牌跟踪日志时,您需要私有传输到托管端点,或完全在VPC内自托管。

如果您的团队使用Vertex AI上的托管模型,则无需使用公共互联网。根据Vertex AI的Google Cloud服务特定条款(以及Cloud数据处理附录),Google默认不使用客户提示或输入来训练基础模型,并且您可以启用零数据保留(ZDR),使负载永远不会缓存到磁盘。在网络层,**Private Service Connect (PSC)**通过您VPC内的私有内部IP暴露Vertex AI,**VPC服务控制(VPC-SC)强制执行基于身份和上下文的API边界,阻止数据泄露到未经授权的项目,而客户管理加密密钥(CMEK)**提供对存储工件的加密终止开关控制。

当您需要完全托管服务运行时本身时,Google Kubernetes Engine (GKE)允许您使用vLLM、SGLang或TensorRT-LLM在专用GPU节点池(L4、A100、H100)上运行如Gemma 3、Llama或Mistral等开放权重模型,或者使用vLLM的TPU后端或Google的TPU原生JetStream引擎在Cloud TPU节点池(v5e、v5p、v6e Trillium)上运行。

在锁定的GKE集群中的经典陷阱是模型加载:如果您强制执行严格的默认拒绝互联网出站策略,启动时试图从Hugging Face拉取权重的Pod将会失败。在生产环境中,您将容器镜像暂存在Artifact Registry中,模型权重暂存在边界内的Cloud Storage (GCS)存储桶中。您的GKE Pod通过Private Google Access (PGA)直接经由Google内部网络拉取权重,无需打开互联网NAT网关,同时将所有嵌入和RAG索引保留在VPC内的AlloyDB (pgvector)或Qdrant实例中,零公网IP暴露。

如何应用: 花一小时在启用默认拒绝出站策略的私有子网内测试Vertex AI Model Garden的一键GKE部署,将您的Gemma权重暂存在受VPC-SC保护的GCS存储桶中,以便Pod完全通过Private Google Access进行加载。

4. 当法规禁止任何云连接时,在物理隔离的机架上部署

对于国防、情报、关键国家基础设施和严格的主权银行工作负载,即使是私有光纤链路或位于公共云区域内的硬件飞地在法律上也是不可行的。当法规要求物理托管机房空间且零外部网络路径时,云必须作为设备进入您的设施。

Google Distributed Cloud (GDC) Air-Gapped将机架式、预集成的Google Cloud硬件直接交付到客户自有的数据中心或战术边缘站点。它以零物理或逻辑连接的方式运行于Google Cloud或公共互联网。本地管理员在自己的机房空间管理自己的根硬件安全模块(HSM)、PKI证书和访问策略,满足机密物理隔离要求(如DoD IL6)和严格的欧洲数据主权及Schrems II驻留控制,且无外国分包商暴露风险。

在该物理隔离的机架内,工程师无需退回到原始的Linux脚本。GDC Air-Gapped附带本地Kubernetes控制平面、用于本地RAG的AlloyDB Omni(含pgvector)、预集成的Vertex AI服务(光学字符识别、语音转文本和翻译),以及用于Gemma和自定义开放权重模型的本地GPU服务。

如何应用: 首先将您的工作负载与物理主权规则进行映射。如果某个工作负载需要在完全WAN断开(如制造车间、医院或国防站点)的情况下运行,请在当今的云开发环境中针对GKE和AlloyDB Omni API进行设计,以便完全相同的容器清单部署到GDC Air-Gapped设备上,无需重写代码。

跨越光谱路由工作负载,而非选择单一阵营

这四个层级并非互斥。最强大的企业架构将它们组合在单一请求流中。一个移动银行应用可以使用设备NPU上的LiteRT对支票图像进行分类并在本地剥离PII,通过Private Service Connect将净化后的负载发送到VPC-SC边界内,针对VPC内的AlloyDB向量存储运行RAG,并在H100机密虚拟机内执行高风险推理。

停止将私有AI视为公共API与裸金属服务器之间的全有或全无之战。在流水线的每一步对数据进行分类,选择适合您延迟和合规预算的最严格边界,并让硬件来执行规则。

立即开始

  • 设备端和浏览器WebGPU: 查阅LiteRT和LiteRT-LM文档,使用LiteRT-LM和**LiteRT.js (@litertjs/core)**测试客户端推理。

  • 机密GPU: 通过机密GKE节点和Confidential Space指南,在您的集群上启用硬件内存加密。

  • VPC内GKE服务: 使用GKE AI/ML参考架构,以零互联网出站流量部署开放权重。

相似文章