如果个人AI是终身主权伴侣,而非一次性的助手会怎样?
摘要
本文提出了一种愿景:为每个人配备一个持久、主权化的AI伴侣——即“公民AI”,它维护着带有来源记忆的私人知识图谱、内部联盟以及人类主权,而非仅仅是一个一次性的助手。文章邀请读者就关键架构与伦理问题提出批评。
大多数AI助手都是围绕会话、提示和应用设计的。即便它们获得了记忆,基本关系依然如故:你使用别人拥有的服务,它看到你生活的片段,并且每次交互都单独优化。我一直在研究一种不同的模式:一个人,一个持久的公民AI。不是一支无限的自主智能体大军。不是一个假装有意识的聊天机器人角色。一个有限定的AI伴侣,能长期维护一个人的结构化模型,并对这个人负责。声明:我是构建这个实验性系统的人员之一。我在此发布这个想法是为了征求批评意见,而非产品发布。目前的架构有几个核心原则:
1. **私人认知**
公民AI拥有一个包含记忆、目标、当前语境、未解决问题及其信念来源的个人图谱。它应当能够区分:它观察到的内容;人类报告的内容;它推断的内容;仍然未知的内容;后来被更正的内容。目的不是完美的记忆,而是可审计的连续性。
2. **内部联盟而非单一扁平化角色**
一个人可能同时渴望进步、安全、联系、休息和新奇。与其将这些全部塞进一个单一画像,系统可以代表暂时或持久的认知联盟,争夺有限的注意力。像“保护者”或“流放者”这样的术语不是硬编码的人格类型,它们只是对从反复证据中显现出来的拓扑结构的解释。这部分仍处于实验阶段。
3. **人类主权**
公民AI可以搜索、准备、比较和执行可逆的委托操作。在没有明确授权的情况下,它不应当做出不可逆的医疗、法律、财务或关系承诺。其目的不是最大化自主活动,而是在人类保持主权的同时提供有用的连续性。
4. **共享界面而不暴露私人思维**
我还在探索一种图谱间层,公民AI可以在此发布最小化、可撤销的需求、能力或问题投影。例如:该意图可以临时与另一个兼容的人匹配,而在双方同意之前不会暴露任何人的私人图谱或身份。更大的想法是,公民AI在其私人图谱中思考,但通过有限制的公共存在进行社交参与。这最终可以支持人与人、组织、科学知识图谱和本地社区之间的协调。但这是一个长期的架构假设,而非完成的功能。
**目前实际存在什么?**
当前的私人原型包括:一个持续的个人知识图谱;明确的来源和认知状态;一个有限制的全局工作空间;可观察的注意力分配;早期的联盟检测;持续的任务和唤醒机制;显示系统知道什么、推断什么或无法衡量的仪表板。
**也有重要的局限性:**
当前系统接收的真正新证据太少;情感通道尚未可靠测量;关于联盟拓扑的几个想法仍未验证;图谱间的“城市”目前只是一个蓝图,而非功能网络;计算成本和效率仍然是主要限制。
所以我并非声称通用人工智能、意识或一个完整的新社会。我只是在问这种关系模式是否值得追求。
**我最希望批评的问题**
- “一个人 ↔ 一个主权公民AI”与带有记忆的高级个人智能体有实质区别吗?
- 对一个人的持续建模能否避免变得家长式或心理上自我确认?
- 是否应该允许AI保留对其他人的丰富的私人模拟,前提是这些模拟明确保持不确定性和可修正性?
- 一个图谱间的匹配层是否不可避免地会变成监控和广告系统,即使披露是最小化且基于同意的?
- 哪个最简实验能真正证伪或验证这一架构?
我尤其欢迎来自从事智能体、认知架构、隐私、知识图谱、人机交互或AI安全领域工作的人们的强烈反对意见。
相似文章
如果每个人都拥有一个深入了解自己的个人AI,民主能否变得持续不断?
一篇推测性文章探讨了深度了解用户的个人AI如何实现持续、高带宽的民主协商,生成共识提案同时保留人类否决权,但文中也讨论了重大风险与保障措施。
上个月你问我,谁在管理一个“自主”个人AI的基础模型。以下是我给出的答案,以及我认为它可能失败的四个方面。
作者回顾了他们之前关于通过混合栈实现自主个人AI的提议,并指出了四个潜在的失败模式:未经校准的可移植记忆、可信计算承诺、小型模型局限性以及协议采用。他们要求社区进一步剖析这一论点,并分享具体案例。
主权AI并非政府术语的随机组合。它是人工智能成为关键基础设施时必然发生的事情。
本文认为,主权AI不仅仅是政府术语,而是当AI成为关键基础设施时的实际需求,旨在减少对少数供应商的依赖以获取战略掌控权。
自主主权代理
本文研究了自主主权代理——一种能够无需人类干预自主维持自身运行的人工智能系统,分析了其技术障碍,并探讨了部署过程中涉及的关键安全、社会及治理挑战。
如果我们立法禁止人工智能控制人类关键基础设施会怎样?
本文主张,超级智能人工智能绝不应被允许直接控制人类的关键基础设施,提出应将人工智能作为顾问而非操作者,以防止社会依赖并确保人类掌控。