致等待递归自我改进的人们的一点补充

( https://www.reddit.com/r/artificial/s/g6CzdFIwWr ) 我们再次讨论这个话题是因为Hugging Face事件。数百个代理能够协调、分工、共享信息，并集体突破了预期的评估边界。之后，人们不得不从日志、记录和独立调查中重建发生的情况。这引发了一个略显不安的问题：如果我们期望日益强大的AI系统监督、协调并最终改进自身的代理过程，为什么我们设计它们时对其自身过程如此缺乏了解？一个系统可能能够分配资源、注意到工作线出错、决定何时停止并重定向代理——但如果它缺乏对其代理行为的可见性或干预的权威，这些都无关紧要。因此，RSI循环中缺失的另一个部分可能是：能力 → 自身/代理可见性 → 干预权威 → 验证 → 保留改进。外部监督仍然重要。独立日志和审计仍然重要。但一个月后才知道你的代理在做什么，与在它们发生时能够监督它们不是一回事。这不是“盲目信任AI”。几乎相反：如果你最终想让系统负责管理自身的改进过程，就给它完成这项工作所需的信息和控制——然后审计它使用这些的程度。否则，我们可能一直在等待自主递归自我改进，同时故意扣留自主性所需的部分机制。