AGI的真正危险在于权力集中

民主制度之所以有效，是因为普通人拥有影响力：我们的劳动创造财富，我们的数量威慑暴政。高级AI可能通过一个危险的连锁反应打破这种平衡：资本自然集中；AI通过将金钱转化为自动化劳动和监控加速这一过程；随着人类影响力消失，权力达到不可逆转的控制点。为了维持民主，我们不能依赖像UBI这样的施舍。公众必须在影响力消失之前，确保对AI基础设施的实际所有权。 民主的丧失 民主是一种权力平衡，而非必然的道德共识。它意味着计算人头而非打破人头。历史上，精英尊重社会契约是因为他们依赖于人口：工人的劳动创造财富，赋予工人罢工的权力，而公众的数量则潜伏着反抗的威胁。AGI可能削弱这两种影响力来源。随着劳动自动化，工人的经济议价能力可能下降。随着监控和自主系统的扩展，大规模骚乱可能更容易被监控和镇压。如果人们失去经济影响力和威慑胁迫的能力，民主风险就不再是可执行的权利，而更像控制AI者的恩赐，这是一个没人应该打的赌。 理论上的不归点 我最初假设不归点会在一个协调群体控制社会相关权力的50%时到来。但权力并非可以干净划分百分比的单一量：对计算、能源、通信、生产和胁迫的控制可能各不相同。一个群体可能控制关键瓶颈而不拥有大多数资产；相反，拥有大部分财富可能不足以克服有组织的抵抗。不归点更应由一个群体能做什么来定义：维持生产并执行其决策，尽管公众普遍不合作，同时防止公众协调、挑战或替代它。对另一个国家的轻微军事优势并不自动使入侵值得；抵抗的成本很重要。决定性的问题是该成本是否已降低到主导群体能够施加并保持控制的程度。AI可能创建一个反馈循环，降低权力者的抵抗成本，同时提高其他人的成本。集中的AI所有者可以用财富购买政治影响力，包括对政治家的影响，同时部署AI监控来监视反对派，并使组织更容易被破坏。如果这种影响削弱了劳动保护、竞争规则、隐私权或独立机构，公众就失去了进一步挑战所有者的方式。政治影响力进而保护AI集中，而AI帮助保护政治影响力。这个制度循环——而非特定的80%或90%阈值——可能使集中权力难以逆转。 权力集中 支撑AI的基础设施已经集中。前沿计算集群需要巨大的资本投资和较长的准备时间，使高级AI默认集中。开源模型目前可以复制一些顶级能力，但如果递归自我改进生效且计算访问成为主要瓶颈，它们可能难以跟上。结果可能是一个复合循环：集中的财富购买集中的计算，产生更强大的AI，进一步集中塑造社会的能力。这个结果并非自动发生：关键问题是所有者能否在计算访问及其产生的收益上保持持久优势。 资本集中 资本往往随时间集中。即使财富最初随机分配，人们起始拥有不同数量，现有资本的回报可以产生更多回报。Thomas Piketty的核心实证发现是，资本回报率历史上超过经济增长率（r > g），这可能有利于累积财富相对于工作收入，但本身并不证明财富份额必须变得更集中。集中的数学条件更具体：最大所有者的财富必须比其他所有人的财富增长更快。如果他们的财富以净率(g_A)增长，其他人的以(g_R)增长，那么当(g_A > g_R)时，所有者的份额上升；他们的财富相对于其他人每期乘以((1+g_A)/(1+g_R))。这个过程可能被不平等的储蓄能力强化：普通收入者通常需要花费大部分收入，而富人可以再投资更大比例。在一个简单模型中，一个赚取回报(r)并再投资比例(q)的所有者，在税前和其他收入或成本前，大约以(qr)增长现有财富。因此，即使投资回报本身相同，更多再投资也能产生更快增长。如果没有政治干预或重大冲击，这些力量可能将财富推向高度集中的分布。AGI并非此动态所必需；它已经在起作用。 AI加速资本集中 AGI可能加速这一过程。资本提供影响力，而AI可能显著增加这种影响力：金钱可以购买智能访问，智能可以提高生产力，而生产力可以产生更多资本。如果领先的AI所有者能够再投资更多回报、确保稀缺基础设施，或因其规模获得更高回报，他们的财富可以比社会其他部分增长更快。然后，AI提高他们的财富相对份额，而非仅仅以相同速率增加所有人的财富。随着AI变得更强大，它可能放大现有的财富集中力量。 递归自我改进可能加速AI进展 这一过程也可能自我加速。更强大的AI可能帮助构建更强大的AI，这种可能性被称为递归自我改进（RSI）。编码进步和使用AI解决困难数学问题可能是这个反馈循环的早期迹象，尽管它们本身并未确立失控的自我改进已经开始。RSI不一定平等惠及所有人。如果领先的系统在私有控制的大型计算集群上运行时改进最快，其所有者可以利用每一代AI改进下一代，而竞争对手缺乏类似访问。开源模型和研究仍然可以传播能力，但如果计算成为瓶颈且前沿保持私有，它们可能落后。在这种情况下，AI所有者可能捕获RSI收益的不成比例份额。如果AI系统显著加速AI研究，循环可能驱动更快的能力增长，从而加速资本积累并集中权力。根据这些反馈效应的强度，链条可能迅速复合。