代理操作系统将需要在AI之下设置审计层

我与ChatGPT进行了一次有趣的对话，探讨代理操作系统可能的样子以及随之而来的信任问题。以下是ChatGPT为本文构建的摘要。完整对话链接在文末，不过前几个提示是关于奇点的，之后才转向操作系统讨论。我不认为代理操作系统会用一个大聊天框完全取代桌面。更有可能的是，操作系统变得意图驱动：你描述想要的结果，一个协调器将其分解为步骤，不同的模型和服务处理这些步骤，在需要直接交互时生成临时UI。这样你就不必打开五个程序、移动文件、在它们之间复制信息、填写表单，只需描述结果。系统可能使用一个小型本地模型来分类请求，另一个模型搜索文件，一个云端模型推理结果，以及确定性软件来执行实际操作。这听起来很实用，以至于未来可能很难选择不使用。代理操作系统可能比传统操作系统生产力高得多。不使用它可能类似于拒绝使用互联网或电子邮件：技术上可行，但越来越不现实。问题是大部分执行过程将是隐藏的。操作系统内部可能有大量模型调色板。有些在本地运行，有些在云端，有些便宜，有些昂贵。系统会决定每个任务部分由哪个模型处理。但做出这个决定的公司可能也在向你收取计算费用。你怎么知道昂贵的模型是否真的必要？或者系统是否因为有利于提供商而走了不必要的弯路？我们已经看到编码代理和token消耗方面的类似担忧。代理操作系统将把同样的问题带入你几乎所有的操作。隐私问题甚至更大。一个看似简单的请求可能导致操作系统搜索你的电子邮件、文档、日历、浏览历史、消息和应用程序状态。部分数据可能在本地处理，部分发送到云端模型或外部服务。大多数用户将无法实际了解传输了什么、为什么需要、哪个提供商收到了、或者保留了哪些内容。然后是信息问题。当前算法决定你看到哪些帖子、视频或搜索结果。代理操作系统可能控制得更多。它可以决定哪些信息相关，进行总结、解释、推荐你应该做什么，然后执行决策。它还会控制向你解释这一切的界面。问为什么电脑运行缓慢，一个中立的系统可能会告诉你后台AI任务在消耗资源。一个商业优化的系统可能会建议升级订阅或购买新硬件。问哪个服务最好，它可能会偏向操作系统供应商拥有的或与之有商业协议的服务。这使竞争变得复杂。你可能会有微软和苹果直接竞争。会有更便宜或更开放的替代方案，可能基于Linux，然后有一小群人为自己构建高度控制的本地系统。但竞争可能只要求大型平台足够可信，以至于大多数用户留下。微软和苹果都可以声称比对方更注重隐私，同时仍然依赖不透明路由、订阅、专有记忆和生态系统锁定。开源也无法自动解决这个问题。一个开放的协调器仍然可能将大部分推理发送到专有云模型。系统可以拥有可检查的界面，而重要决策发生在远程某处。最强的保护可能需要在代理之下存在：一个模型无法改变或选择性总结的确定性层。这可能包括：所用模型的完整日志、访问的文件和服务的记录、本地与云端处理的清晰分离、硬性的花费和token限制、操作历史和回滚、可移植的用户记忆和工作流、第三方提供商的明确披露、以及绕过助手直接检查底层信息的方式。理想情况下，代理提出行动，而底层策略引擎决定它实际被允许访问、传输、花费和更改的内容。代理不应是唯一能够解释代理行为的东西。我怀疑代理操作系统即将到来，因为其生产力优势太大而无法忽视。真正的设计问题可能不在于协调器是否足够智能，而在于周围系统是否使这种智能可观察、可约束和可问责。完整对话链接：https://chatgpt.com/share/6a674035-74c8-83ea-ad70-ffd0e6fcadad