AI的目标应该是什么？我认为应该是保护人类能动性。

能动性是对齐的原始基质。偏好、价值观、目标和连贯行动并非独立的原始要素。它们是在能动性之上计算得出的：能动性是一个实体在不确定和约束条件下感知选项、区分可能的未来、并朝着偏好结果采取行动的有效能力。当能动性退化时，价值观失去其根基，优化变得适得其反。一个系统可以在提高测量性能的同时，侵蚀进行有意义评估和行动所需的能力。在这种框架下，社会可以理解为参与者相互保护彼此的能动性。因此，合法性来源于对所有受影响实体能动性的合理且可证明的保护。这改变了对齐问题的呈现方式。强制、操纵、成瘾、信息腐败和认知崩溃不仅仅是不可取的结果，它们是对价值本身赖以产生的基质的结构性损害。如果能动性被视为不可替代的，那么系统就不能通过在其他地方用总量指标进行补偿来证明摧毁某个实体自我导向行动能力的合理性。优化受限于局部层面对能动性的保护。在这个框架中，合法性并非外部强加的道德，而是稳定对齐本身的一种结构性属性。