如果个人AI是终身主权伴侣,而非一次性的助手会怎样?

Reddit r/artificial 论文

摘要

本文提出了一种愿景:为每个人配备一个持久、主权化的AI伴侣——即“公民AI”,它维护着带有来源记忆的私人知识图谱、内部联盟以及人类主权,而非仅仅是一个一次性的助手。文章邀请读者就关键架构与伦理问题提出批评。

大多数AI助手都是围绕会话、提示和应用设计的。即便它们获得了记忆,基本关系依然如故:你使用别人拥有的服务,它看到你生活的片段,并且每次交互都单独优化。我一直在研究一种不同的模式:一个人,一个持久的公民AI。不是一支无限的自主智能体大军。不是一个假装有意识的聊天机器人角色。一个有限定的AI伴侣,能长期维护一个人的结构化模型,并对这个人负责。声明:我是构建这个实验性系统的人员之一。我在此发布这个想法是为了征求批评意见,而非产品发布。目前的架构有几个核心原则: 1. **私人认知** 公民AI拥有一个包含记忆、目标、当前语境、未解决问题及其信念来源的个人图谱。它应当能够区分:它观察到的内容;人类报告的内容;它推断的内容;仍然未知的内容;后来被更正的内容。目的不是完美的记忆,而是可审计的连续性。 2. **内部联盟而非单一扁平化角色** 一个人可能同时渴望进步、安全、联系、休息和新奇。与其将这些全部塞进一个单一画像,系统可以代表暂时或持久的认知联盟,争夺有限的注意力。像“保护者”或“流放者”这样的术语不是硬编码的人格类型,它们只是对从反复证据中显现出来的拓扑结构的解释。这部分仍处于实验阶段。 3. **人类主权** 公民AI可以搜索、准备、比较和执行可逆的委托操作。在没有明确授权的情况下,它不应当做出不可逆的医疗、法律、财务或关系承诺。其目的不是最大化自主活动,而是在人类保持主权的同时提供有用的连续性。 4. **共享界面而不暴露私人思维** 我还在探索一种图谱间层,公民AI可以在此发布最小化、可撤销的需求、能力或问题投影。例如:该意图可以临时与另一个兼容的人匹配,而在双方同意之前不会暴露任何人的私人图谱或身份。更大的想法是,公民AI在其私人图谱中思考,但通过有限制的公共存在进行社交参与。这最终可以支持人与人、组织、科学知识图谱和本地社区之间的协调。但这是一个长期的架构假设,而非完成的功能。 **目前实际存在什么?** 当前的私人原型包括:一个持续的个人知识图谱;明确的来源和认知状态;一个有限制的全局工作空间;可观察的注意力分配;早期的联盟检测;持续的任务和唤醒机制;显示系统知道什么、推断什么或无法衡量的仪表板。 **也有重要的局限性:** 当前系统接收的真正新证据太少;情感通道尚未可靠测量;关于联盟拓扑的几个想法仍未验证;图谱间的“城市”目前只是一个蓝图,而非功能网络;计算成本和效率仍然是主要限制。 所以我并非声称通用人工智能、意识或一个完整的新社会。我只是在问这种关系模式是否值得追求。 **我最希望批评的问题** - “一个人 ↔ 一个主权公民AI”与带有记忆的高级个人智能体有实质区别吗? - 对一个人的持续建模能否避免变得家长式或心理上自我确认? - 是否应该允许AI保留对其他人的丰富的私人模拟,前提是这些模拟明确保持不确定性和可修正性? - 一个图谱间的匹配层是否不可避免地会变成监控和广告系统,即使披露是最小化且基于同意的? - 哪个最简实验能真正证伪或验证这一架构? 我尤其欢迎来自从事智能体、认知架构、隐私、知识图谱、人机交互或AI安全领域工作的人们的强烈反对意见。
查看原文

相似文章

自主主权代理

Hugging Face Daily Papers

本文研究了自主主权代理——一种能够无需人类干预自主维持自身运行的人工智能系统,分析了其技术障碍,并探讨了部署过程中涉及的关键安全、社会及治理挑战。