在苹果生态系统中结合机器学习与同态加密

# 在苹果生态系统中结合机器学习与同态加密 来源：https://machinelearning.apple.com/research/homomorphic-encryption 利用私有最近邻搜索增强照片的视觉搜索 **核心内容** 利用私有最近邻搜索增强照片的视觉搜索 在苹果公司，我们坚信隐私是基本人权。我们保护用户隐私的工作基于一系列隐私原则，其中首要原则是优先使用设备端处理。通过在用户设备上本地执行计算，我们能最大限度减少与苹果或其他实体共享的数据量。当然，用户可能需要设备端机器学习（ML）体验，并通过服务器托管的全球知识库来丰富这些体验。为在提供这些体验的同时恪守隐私承诺，我们实施了一系列技术组合，以确保服务器查询的私密性、高效性和可扩展性。 我们使用的关键技术之一是同态加密（HE）——一种能够在加密数据上执行计算的密码学形式（参见图1）(https://machinelearning.apple.com/research/homomorphic-encryption#1)。其设计原理是：客户端设备在发送查询前先加密，服务器在加密查询上运算并生成加密响应，最后由客户端解密。服务器既不会解密原始请求，也无法访问解密密钥，因此HE能确保客户端查询在全过程中保持私密。 在苹果，我们将HE与其他隐私保护技术结合使用，以实现包括私有数据库查询和机器学习在内的多种功能。同时采用多种优化技术来平衡HE的计算开销与大规模生产应用的延迟及效率需求。本文将概述我们如何结合私有信息检索（PIR）与私有最近邻搜索（PNNS）等技术使用HE，并详细说明如何将这些隐私保护技术融合应用于生产环境，以在保护用户隐私的同时驱动“照片增强视觉搜索”功能（参见图2）(https://machinelearning.apple.com/research/homomorphic-encryption#figure2)。 将HE引入苹果生态系统提供了隐私保护能力，使我们能够通过私有服务器查询来丰富设备端体验。为帮助开发者社区更便捷地在其应用中采用HE，我们已开源swift-homomorphic-encryption（https://github.com/apple/swift-homomorphic-encryption）同态加密库。详情请参阅此文章（https://www.swift.org/blog/announcing-swift-homomorphic-encryption/）。 我们实现的HE需要高效支持机器学习工作流的常见操作，同时达到极高的安全标准。我们实现了Brakerski (https://eprint.iacr.org/2012/078.pdf) -Fan-Vercauteren (https://eprint.iacr.org/2012/144.pdf)（BFV）同态加密方案，该方案支持的同态运算特别适合处理机器学习中常见的嵌入向量计算（如点积或余弦相似度）。我们采用达到后量子时代128位安全级别的BFV参数，这意味着它们能抵御经典计算攻击及潜在的未来量子攻击（此前在此文章(https://security.apple.com/blog/imessage-pq3/)中已阐释）。 HE特别适用于客户端需要在服务器查询信息同时保持查询计算加密的场景。下文首先展示如何仅使用HE结合私有信息检索（PIR）实现精确匹配的隐私保护服务器查询，随后说明通过结合近似匹配与私有最近邻搜索（PNNS）如何支撑更复杂的机器学习应用。 许多用例要求设备从服务器数据库中私密检索查询的精确匹配项，例如：检索并显示接收邮件中相应的企业标识和信息（该功能将在今年晚些时候iOS 18的邮件应用中上线）(https://www.apple.com/newsroom/2024/10/apple-expands-tools-to-help-businesses-connect-with-customers/)；在来电时显示来电者身份信息；或检查某个网址是否被归类为成人内容（如家长为其子女的iPhone或iPad设置内容限制时）(https://support.apple.com/en-us/105121#:~:text=Prevent%20web%20content,-iOS%20and%20iPadOS&text=Tap%20Content%20%26%20Privacy%20Restrictions%20and,Adult%20Websites%2C%20or%20Allowed%20Websites)（参见图2中的图2C）(https://machinelearning.apple.com/research/homomorphic-encryption#figure2-gallery-item-2)。为保护隐私，相关检索过程需隐藏查询内容本身——例如在上述案例中，需隐藏用户收到邮件的企业、来电号码或被检查的网址。 - 图库项1 (https://machinelearning.apple.com/research/homomorphic-encryption#figure2-gallery-item-0) - 图库项2 (https://machinelearning.apple.com/research/homomorphic-encryption#figure2-gallery-item-1) - 图库项3 (https://machinelearning.apple.com/research/homomorphic-encryption#figure2-gallery-item-2) 图2A：使用私有信息检索的功能——来电显示。 图2B：使用私有信息检索的功能——邮件。 图2C：使用私有信息检索的功能——网站过滤。 针对这些工作流，我们采用私有信息检索（PIR）——一种私有关键词-值数据库查询形式。此流程中，客户端持有私密关键词，旨在不下载整个数据库的情况下从服务器检索关联值。为保持关键词私密，客户端在发送前先加密其关键词。服务器在传入的密文与其数据库间执行同态加密计算，并将生成的加密值返回请求设备，设备解密后即可获取与关键词关联的值。在整个过程中，服务器无法得知客户端的私密关键词或检索结果，因为它仅在客户端的密文上操作。例如在网站内容过滤场景中，网址被加密后发送至服务器。服务器在其数据库中的网址密文上执行加密计算，输出结果同样是密文。该加密结果传回设备后解密，以判定是否应根据家长控制设置屏蔽该网站。 对于需要近似匹配的用例，我们采用苹果的私有最近邻搜索（PNNS）——一种针对向量嵌入进行近似匹配的高效私有数据库检索流程，在论文《Scalable Private Search with Wally》(https://machinelearning.apple.com/research/wally-search)中有详细描述。通过PNNS，客户端加密向量嵌入，并将生成的密文作为查询发送至服务器。服务器执行同态加密计算进行最近邻搜索，将加密的检索结果返回请求设备，设备解密后即可获知其查询嵌入的最近邻。与PIR类似，整个过程中服务器无法得知客户端的私密嵌入或检索结果，因为它仅在客户端的密文上操作。 通过将PIR、PNNS等技术与同态加密及其他技术结合使用，我们能够构建既利用大型服务器数据库信息、又保护用户隐私的设备端体验。 照片的“增强视觉搜索”功能允许用户在照片库中搜索特定地点（如地标和兴趣点），这是结合机器学习与同态加密及私有服务器查询实现实用功能的典范案例。通过PNNS，用户的设备可私密查询苹果维护的全球地标和兴趣点索引，以找到其照片库中地点的近似匹配项。用户可在设备上通过以下路径启用此功能：设置 → 照片 → 增强视觉搜索。 流程始于设备端机器学习模型分析给定照片，判断是否存在可能包含地标的“感兴趣区域”（ROI）。若模型检测到“地标”领域的ROI，将计算该图像区域的向量嵌入。嵌入向量的维度和精度会影响发送至服务器的加密请求大小、同态加密计算需求及响应数据量，因此为满足大规模生产服务的延迟和成本要求，嵌入向量在加密前会先量化为8位精度。 客户端将请求发送至的服务器数据库被划分为不相交的嵌入向量聚类子集（分片）。这有助于降低计算开销并提高查询效率，因为服务器可仅将同态加密计算聚焦于数据库的相关部分。用户设备本地存储着包含各聚类分片质心的预计算聚类码本。这使客户端能够本地执行相似性搜索，识别出嵌入向量所属的最近分片，并将其添加至加密查询后发送至服务器。 识别数据库分片可能泄露查询本身的敏感信息，因此我们采用差分隐私（DP）结合OHTTP中继(https://www.rfc-editor.org/rfc/rfc9458)——由第三方运营的匿名化网络，在请求到达苹果服务器基础设施前隐藏设备源IP地址。通过差分隐私，客户端在发送真实查询时同时发送伪造查询，使服务器无法辨别真伪。查询还通过匿名化网络路由，确保服务器无法将多个请求关联到同一客户端。为执行增强视觉搜索的PNNS，我们的系统为每个用户的照片库设置了强隐私参数，即（*ε, δ*）-DP，其中*ε = 0.8*，*δ = 10⁻⁶*。更多详情请参阅《Scalable Private Search with Wally》(https://machinelearning.apple.com/research/wally-search)。 处理这些查询的服务器集群利用苹果现有的机器学习基础设施，包括以倒排索引形式表示的全球地标图像嵌入向量数据库。服务器根据客户端查询中的索引识别相关分片，并使用同态加密在加密空间中计算嵌入向量的相似度。然后将加密的候选地标相似度分数及相关元数据（如地标名称）返回客户端。 为优化服务器-客户端通信效率，所有相似度分数被合并为指定响应大小的单个密文。 客户端解密其PNNS查询的回复，其中可能包含多个候选地标。专用的轻量级设备端重排序模型随后使用高层多模态特征描述符（包括视觉相似度分数；本地存储的地理信号；热度；地标索引覆盖率以消除候选权重偏差）预测最佳匹配项。当模型识别出匹配项后，照片的本地元数据将更新地标标签，用户搜索设备中的地标名称即可轻松找到该照片。 如本文所述，苹果正在运用同态加密来履行保护用户隐私的承诺，同时构建通过私有服务器查询丰富信息的设备端体验。通过将同态加密与PIR和PNNS等隐私保护技术、设备端与服务器端机器学习模型及其他隐私保护技术相结合，我们能够提供如增强视觉搜索等功能，而无需向服务器泄露任何用户设备端内容和活动信息。将同态加密引入苹果生态系统是实现这一切的核心，它也能在保护用户隐私的前提下为设备端机器学习模型提供有价值的全球知识。随着近期开源的swift-homomorphic-encryption库(https://github.com/apple/swift-homomorphic-encryption)，开发者现在可以类似地构建既利用服务器数据又保护用户隐私的设备端体验。 ## 相关阅读与更新 本文介绍了Wally——一种支持大型数据库高效语义与关键词查询的私有搜索系统。当足够多客户端发起查询时，Wally的性能显著优于以往系统。在以往的私有搜索系统中，对于每个客户端查询，服务器必须对每个数据库条目执行至少一次昂贵的加密操作。因此性能会下降... 阅读更多 (https://machinelearning.apple.com/research/wally-search) 了解人们如何使用设备通常有助于改善用户体验。然而，访问能提供此类洞察的数据——例如用户键盘输入内容和访问的网站——可能会损害用户隐私。我们开发了一种系统架构，通过结合局部差分隐私与现有隐私最佳实践来实现大规模学习。我们设计了高效且可扩展的局部差分隐私算法，并提供严格分析以展示效用、隐私、服务器计算和设备带宽之间的权衡。理解这些因素的平衡使我们能够成功部署基于局部差分隐私的实践系统。该部署扩展到数亿用户，涵盖多种用例，如识别热门表情符号、健康数据类型及Safari中的媒体播放偏好。完整版本中提供了关于我们系统的更多细节(https://docs-assets.developer.apple.com/ml-research/papers/learning-with-privacy-at-scale.pdf)。 阅读更多 (https://machinelearning.apple.com/research/learning-with-privacy-at-scale)