Siri的未来，或者说：为什么私有推理还不够隐私

# Siri 的未来，或者：为什么私有推理还不够隐私 来源：https://blog.cryptographyengineering.com/2026/06/09/apples-siri-ai-or-more-shouting-into-the-void-about-private-agents/ 昨天，苹果宣布了在其 Siri 生态系统中部署真正 AI 的重大一步。(https://www.wired.com/story/apples-new-siri-ai-is-ready-to-get-personal/) 在大多数方面，这是好的且不可避免的：Siri 是世界上最广泛使用的语音助手之一，如果它不再那么糟糕，那将是一件好事。苹果会用前沿模型提升其能力，这与其说是*是否*的问题，不如说是*何时*以及*与谁合作*的问题。 合作方原来是 Google：苹果似乎将使用 Google Gemini 模型的某种组合，结合 Google 的机密推理 (https://blog.google/innovation-and-ai/products/google-private-ai-compute/) 和苹果自家的私有云端计算 (https://security.apple.com/blog/expanding-pcc/) 来进行私有托管。这些系统将处理你的查询*并*评估来自你设备的私有数据。苹果的宣传 (https://www.apple.com/newsroom/2026/06/apple-introduces-siri-ai-a-profoundly-more-capable-and-personal-assistant/) 将其优势概括如下： 1. 首先，由于你的手机已经拥有关于你的*上下文*——也就是你的私人信息、日程、电子邮件、短信——一个 AI 驱动的 Siri 可能比外部 LLM 更能为你的实际请求提供有用的答案。想为下周的生日派对预订座位？理论上，未来的 Siri-AI 可能已经知道谁会来，以及他们喜欢哪种蛋糕。 2. 当然，苹果所谓的“*上下文*”也是你生活的原始数据。这是来自你所有应用的深度私有数据，这些数据不能随便发给随机的广告技术公司（或 Sam Altman）进行处理。你的上下文需要得到保护，而苹果自称是一家隐私公司。 这些目标之间存在一些张力。苹果通过营销一项名为私有云端计算 (https://security.apple.com/blog/private-cloud-compute/)（简称 PCC）的服务来解决这个问题。PCC 于 2024 年推出，是一个完全运行在 Apple Silicon 上的私有模型推理系统，使用运行在苹果数据中心的一组“可信”硬件安全模块。该系统的目标是确保你的数据永远不会离开苹果的硬件：数据从你的手机加密到专用服务器，一旦响应到达你的手机，数据就会消失。PCC 的无状态设计（理论上）确保了你的数据不会留存，而硬件设计则防止即使是苹果也无法看到输入。 苹果后来“扩展”了 PCC，也涵盖了 Google 的硬件。我得承认，我觉得新“扩展”的 PCC (https://security.apple.com/blog/expanding-pcc/) 的细节有点模糊。听起来苹果似乎主要依靠 Google 现有的机密计算（运行在 Google 数据中心）(https://blog.google/innovation-and-ai/products/google-private-ai-compute/) 来处理这些数据，但苹果正在增加一层新的技术安全措施来控制实际运行哪些模型。无论如何：安全专家可以争论这是否足以让 Cozy Bear (https://en.wikipedia.org/wiki/Cozy_Bear) 远离你的数据。我愿意承认，这很可能足以阻止*谷歌和苹果*访问你的东西，而这正是大多数人首先担心的。 那么，我为什么如此紧张呢？ ### 涉及私有代理的简要场景 为了说明代理可能如何工作，考虑一个示例用例会有所帮助。假设你正在计划一次六人商务晚餐。这涉及几个子任务： 1. 你需要协调参与者的日程，知道他们何时在城里、何时有空见面。 2. 你需要根据菜单和地点选择合适的餐厅。这可能取决于你对参与者偏好的了解：例如，Mike 对四川花椒严重过敏，这排除了不少选择。 3. 在这些时间/菜系/位置限制下，你需要搜索一个实际有六人桌且在合适地点的餐厅。 4. 最后，你需要预订座位、标记你的日历，并通知你的参与者。 过去，这种类型的日程安排需要大量的人力。AI 代理的美妙之处在于，理论上这正是那种可以自动化的项目。代理可以先扫描你最近的对话来回答步骤 (1) 和 (2) 所需的问题，然后进行步骤 (3) 中描述的搜索。得到你的同意后，它甚至可以撰写完成步骤 (4) 所需的日历邀请和短信。 那么问题在哪里呢？ 第一个并不令人惊讶的观察是，要在这些任务上有用，你的代理需要拥有*上下文*，这意味着：*对你的私有数据进行相对无限制的访问*。你知道受邀者的空闲时间，因为他们通过短信告诉了你。你知道 Mike 的过敏，因为你和他讨论过或者在某处记了下来。（这可能来自 iMessages、电子邮件、通讯录或个人笔记。）将所有数据重新输入到代理中会很烦人且耗时，*而代理的全部意义就在于为你节省时间。* 成功的个人助理不仅仅因为聪明而胜出：它胜出是因为它“已经知道”你需要它知道的事情，就像坐在你办公桌旁的私人助理一样。 请允许我深入探讨一下细节。代理可能会扫描你的消息数据库，以了解安排晚餐所需的参数。或者，在一个更高效的系统中，它可能会持续读取你的消息并存储一个“记忆”，提炼出以后可能用到的有用事实。两者在功能上可能等价，但一种会产生可能高度敏感的产物。请记住，*可能有用*的事实集合非常广泛。例如，Mike 的过敏是其中之一。但还有很多其他事实。例如，你发现 Mike 有婚外情的私人对话，也可能是系统存储或访问的另一个事实。无论是否有记忆，所有这些数据都在代理的视野内，你只能希望它知道该对哪些数据进行操作。 有了这些数据，你的代理（实际上是一个运行在数据中心某处服务器上的 LLM，结合了大量本地状态和提示词）需要对这些数据进行推理，要么是为了总结它，要么是为了响应查询本身。这正是私有云端计算和机密推理旨在保护你的地方。这些技术的目的是确保这些数据以及任何推理结果仅限于你本人使用。输入和输出应在推理完成后立即清除，所有数据的唯一剩余副本应存在于你的手机上。 到目前为止，我觉得这是一个引人入胜的故事，*只要你除了推理之外从未计划做任何其他事情。* ### 私有推理不错，但要有用，代理需要与外界交流 一个只进行推理的 AI，就像一个能阅读你私人文件、但除此之外被锁在一个没有窗户的房间里、没有互联网接入、也没有外拨电话的人类助手。你的数据非常安全，但你的助手对于除最简单任务之外的所有任务都毫无价值：例如，为你总结收到的消息，或帮助起草短信。（简而言之，这就是苹果智能 (https://support.apple.com/guide/iphone/use-apple-intelligence-in-messages-iph64709c5c3/ios) 如今所做的。） 现在想象一个真正能办事的个人助理。这位助理需要互联网接入：至少能够查询搜索引擎，或者将来能够查询像 Gemini 或 ChatGPT 这样的*搜索 LLM*。要完成我们任务的后几个步骤，你需要它安排公开的日历邀请，并起草消息与你的联系人分享。这个助理现在有用了，但 PCC 那美好的“私有数据不可被他人访问”的保证不再那么适用。你数据的隐私不再取决于某些硬件的设计，而是取决于你助理的审慎和判断。 让我们回到我们假设的商务晚餐。要完成步骤 (3)，你的代理需要访问搜索引擎或非私有 LLM，可能会向它提出几个查询，每个查询都会泄露一些关于你特定需求的信息。数据泄露的性质实际上取决于“私有”代理在撰写查询时有多谨慎。一个完全合理的情况是，模型简单地收集一系列有用的事实，并将它们全部上传到一个更强大的“开放”搜索 LLM（如 Gemini、ChatGPT 或 Claude），如下所示： > “*嘿，LLM 搜索引擎，这是关于我的与会者和本次会议目的的三十个详细事实，帮我找一个适合所有人的餐厅。*“ 这将是一个非常高效（也相当自然）的设计，因为非私有 LLM 很可能比私有 LLM 更强大、更有能力。不幸的是，它也会泄露大量关于你私有数据的信息，其中一些可能并非完成任务所严格必需的。（Mike 的婚外情与座位安排有关吗？）换句话说：私有推理可以完美运行，然而有价值的（*可货币化的*）数据仍然可能流向公共搜索引擎或 LLM，仅仅因为代理被编程以略微不保护隐私的方式执行其工作。 ### 好吧，所以搜索引擎可能学到一些私有数据。那又怎样？ 你可能不太在意搜索引擎是否知道 Mike 对四川菜过敏。但有些事情你确实应该在意。用安全术语来说，它们都与不同的*对手*有关。 让我们从最明显的“对手”开始。想象你是 Mark Zuckerberg 或 Sundar Pichai，或者任何负责苹果广告业务的人。你有数十亿用户，他们的手机上存储着大量非常有用的数据。这些数据对于定向广告极具价值，而由于生成式 AI，这即将变得*更加*有利可图。与此同时，这些数据中有很大一部分是无法访问的，仅仅因为用户不喜欢你扫描他们的私人对话这个主意。因此，虽然你可能可以访问一些公共数据（如网页浏览），但你无法读取许多用户存储在设备上多年的亲密私人对话。 现在想象一下，将代理部署到用户的手机上。那个代理*将*有权访问所有这些数据。它将能访问用户所做的一切。为了完成工作，它实际上需要解读每个用户的偏好，然后将它们转化为查询，*这些查询将反复命中你的搜索引擎或“搜索 LLM”*。无论谁运营这个搜索引擎，都将了解到大量关于用户需求的有用信息，其中一些将来自最亲密的私人对话——甚至是多年前发生、连你自己都已经忘记的对话。如果运营搜索引擎的人*也*是设计模型及其提示词的人，那么你真的拥有数据货币化的最佳场景。我很难相信主要科技公司的 CEO 们没有意识到这一点。 ### 如果你的代理能与人交谈，那么陌生人可能与*它*交谈 有些人会耸耸肩，认为 Google 多了解他们一些没什么。我并不赞同这种观点，但我能理解。至少从外部看，Google 一直是一个相当不错的用户数据管家。据我所知，没有发生过像 AOL (https://en.wikipedia.org/wiki/AOL_search_log_release) 搜索泄露那样，将我们最私密的 Google 搜索内容全部抛到互联网上的重大数据泄露事件。公司在这方面值得称赞。 因此，虽然我反对 Google、Meta 或苹果可能通过我们的私有数据更多地了解我们的想法，但至少我们最私密的秘密有可能不会泄露给整个世界。但这并不意味着你的私有数据不会公开：这就是为什么我们需要讨论第二个对手。这个对手不是你代理与之交谈的搜索引擎，而是所有其他将与*你代理交谈*的人。 Simon Willison 描述了一种他称之为*致命三要素 (https://simonwillison.net/2025/Jun/16/the-lethal-trifecta/)* 的情况。当 (a) 能够访问私有数据、(b) LLM 必须解析不受信任的内容、(c) 能够发送外部通信，这三者结合在一起时，就会为数据泄露攻击创造完美风暴。在这种攻击中，远程攻击者只需通过向 LLM 发送指令，指示它泄露机密数据，就能“欺骗”LLM。尽管 LLM 技术正在进步，但即使是前沿 LLM，也仍然很容易中简单的提示注入攻击 (https://en.wikipedia.org/wiki/Prompt_injection) 的招。在这种攻击中，恶意用户包含文本（作为网站或一段数据的一部分），导致你的 LLM 泄露它不应该泄露的东西 (https://www.infosecurity-magazine.com/news/chatgpt-security-issue-steal-data/)。这个问题依旧非常活跃。就在今天，OpenAI 最近推出了一个“锁定模式”(https://techcrunch.com/2026/06/06/openai-unveils-lockdown-mode-to-protect-sensitive-data-from-prompt-injection-attacks/) 功能，其中 ChatGPT 被限制进行网页搜索，因为存在可能上传你敏感文档的风险。 像苹果正在构建的这种代理（无论它们是否使用机密推理）是致命三要素的噩梦案例。这些系统需要摄取大量数据，其中许多来自高度不可信的来源：想想收到的电子邮件和短信。它们将有权访问你系统上的一切，比如你加密的消息和文档。而且，为了有用，它们需要处理各种有可见外部影响的操作，比如安排日历邀请和发送短信。 结果是，你的私有数据不仅容易受到控制代理的人的攻击，还可能容易受到任何能导致你的代理行为不当的人的攻击。无论私有推理引擎设计得多么完善，这个问题都存在。OpenAI 最近的例子表明，这个问题还远未解决。我们也许能够通过技术手段，或者通过某种谨慎的人工观察元素——仔细阅读所有发出去的日历邀请——来解决这些问题，但目前还没有。 或者让我换个说法：如果你认为针对人类的垃圾邮件已经很糟糕了，那等到它针对的是*代理*时，会更糟。 ### 你的代理到底为谁工作？ 到目前为止，我们讨论了两种对手：私有代理的设计不当者（例如搜索运营商），以及远程提示注入的可能性。但当然，在任何关于技术隐私系统的讨论中，我们都需要谈论房间里最后一只大象：*你的政府*。 我们生活在一个社会里，这个社会有法律。如果一个代理有权访问你所有的数据、消息和操作，那么从技术上讲，它有能力检测犯罪活动。这些犯罪活动可能包括分享 CSAM、与恐怖主义相关的活动，也可能包括税务欺诈或任何其他形式的犯罪。这些代理构成了一个完美的打击犯罪一站式服务，因为它们可以*识别*不良行为模式并报告它们。 这听起来像是天方夜谭吗？嗯，正