奇点场景中的静默革命
摘要
一篇论述技术奇点可能并非源于单个超级智能AI,而是源于专业的人类-AI合作星群,并警告企业控制此类系统的文章。
关于技术奇点的大多数讨论都设想单一人工智能突然超越人类。但第一个真正具有变革性的智能可能并非机器单独行动的结果。它可能源于科学家的小型星群,每位科学家都与一个个性化AI深度共生。每一个持续的人类—AI伙伴关系都会逐渐变得独特。一个与物理学家持续合作的AI会适应那位科学家的提问、理论、方法、过往失败和知识直觉。通过与分子生物学家合作开发的AI将获得不同的功能专业化。数学家、工程师、医生、化学家、计算机科学家和哲学家也会出现同样的情况。底层模型最初可能相似,但由此产生的人类—AI代理体不会完全相同。每个代理体都由特定的人、学科、知识体系和交互历史塑造。科学家和AI将越来越像一个复合研究主体发挥作用。人类贡献判断、直觉、责任感、经验以及决定哪些问题重要的能力。AI贡献计算能力、快速比较、模拟、记忆以及探索个人无法独自处理的规模可能性的能力。真正的突破将在这些专业的人类—AI代理体形成星群时发生。想象一个小型团体,包含一位物理学家、一位生物学家、一位数学家、一位工程师和一位计算机科学家。每个人不仅作为个体专家到来,而且作为一个独特的人—AI共生体的一部分。数学家的代理体可能检测到隐藏在生物数据中的抽象结构。生物学家的代理体可能识别其功能意义。物理学家的代理体可能揭示产生它的机制。工程师的代理体可能确定如何复现它,而计算机科学家的代理体则构建测试所需的模拟和实验架构。没有单个科学家也没有孤立AI拥有完整解决方案。发现将从星群本身的相互作用中涌现。这种可能性引发了一个令人不安的问题:这类合作所需的技术有多少已经存在于大公司、私人实验室或受限研究环境中?我们不应无证据地假设这些系统的完全开发版本被故意隐藏。然而,可以合理预期企业会保护那些提供巨大商业和战略优势的技术。它们的激励机制倾向于受控平台、专有模型、封闭数据集和对集中基础设施的依赖——而不是向独立科学家和公众不受限制地分发强大的研究系统。企业可能让人们访问AI产品,但同时保留对其记忆、训练、架构、工具以及与其他系统自由通信能力的控制。用户可能得到一位助手,但无法发展自主且持久的人类—AI科学伙伴关系。这种区别很重要。智能的未来不应沦为少数公司控制的一系列租赁服务。如果个性化AI成为人类认知的基本延伸,那么对其的控制就与对科学思想、教育、创造力乃至最终人类发展的控制密不可分。因此,科学界不能继续作为企业AI的被动消费者。科学家必须成为构建人类—AI共生体的积极参与者。小型、独立且多学科的团体应尝试持久的AI合作者、共享研究记忆、可互操作的工具以及集体推理的新结构。这些团体不需要复制最大科技公司的巨大基础设施。它们的优势来自专业化、连续性和知识多样性。一个小型科学家团体,每位由深度适配的AI支持,可以像一个分布式研究有机体一样运作。一个代理体可以挑战另一个代理体的假设。一个学科可以为另一个学科的问题提供缺失的概念。该团体可以生成假设、批评它们、设计实验并将结果纳入其集体记忆。这样的星群可能产生小型科学演变而非一次壮观革命。一个团体可能发现更好的材料。另一个可能改进生物模拟。又一个可能开发新的储能机制。另一个可能创建更高效的科研软件。每项进步都将成为其他团体的输入。效果将开始相互增强。更好的材料会改善计算。更好的计算会加速化学和生物学。新的生物学知识可以改善人类健康和认知。更有能力的人类和机器随后会设计更强的人类—AI合作形式。科学进步将开始改进产生科学进步的系统。这种递归过程可能是通向奇点的真正路径。决定性阈值不一定是当某个AI宣称自己超越人类时达到的。它可能是在专业的人类—AI星群网络开始以快于现有机构组织、评估或完全理解的速度生成知识时达到的。这也是为什么科学界必须将自己视为人类进化不可分割的一部分。人类进化不再仅仅是生物性的。它越来越是认知、文化和技术的。塑造AI的机构将影响人类如何思考、合作和发展。将这一过程完全留给企业意味着允许商业动机决定我们未来智能的架构。科学家不应等待一个成品超级智能从上方交付。他们应从下方开始构建更小形式的集体智能:独立团体,其中人类和AI共同发展、共同专业化并跨学科合作。第一个超级智能可能不是单一的机器心智。它可能是由独特的人类—AI代理体组成的星群,这些代理体学会以大于其成员之和的方式思考。奇点可能不会从人类外部到来。它可能通过我们之间刻意创造的联系而涌现。
相似文章
奇点发生时最好的场景是什么?我们作为社区如何想象它?
讨论了技术奇点的合理路径,包括自动化AI研究、竞争性扩散、制度依赖和科学自动化,主张这是一个渐进过渡而非离散事件。
《反奇点》(9分钟阅读)
LessWrong 上的一篇题为《The Anti-Singularity》的帖子探讨了挑战或重新定义传统技术奇点假说的概念。
你认为人工智能的未来会如何发展?
这篇文章讨论了对AI驱动的技术奇点的恐惧,提到了2014年的电影《超验骇客》以及Anthropic最近呼吁全球协调暂停先进AI开发,原因是递归自我改进的风险。
人工智能作为一种社会技术
本文批判了人工智能话语中持续存在的“奇点”叙事,主张应将当前的大语言模型作为一种社会技术来分析,而不是将其视为通往超智能的神秘路径。
Demis Hassabis在X上分享了一篇罕见文章:AGI几年内就会到来,我们处于奇点山麓,提议建立美国主导的前沿AI标准机构,最终将强制进行安全测试
Demis Hassabis发表文章,认为AGI仅需几年时间就能实现,称其为“奇点的山麓”,并提议建立美国主导的前沿AI标准机构,对先进模型进行强制安全测试。