OpenAI首席科学家论neuralese争议

我希望阻止因混淆报道而引发的向不可监控性发展的竞赛。包括Astra在内的我们当前前沿模型的计算图深度，是GPT-4的两倍以内。自我们最初的推理模型以来，OpenAI一直致力于保留和利用思维链监控。我们非常重视这项技术，因为它能让我们了解模型对齐如何从其训练分布中泛化。我确实认为它很脆弱，并且不幸地正朝着负面方向发展，原因并非取决于架构变化，我很快会对此进行阐述。但我们可以采取措施来加强它，这是我们当前研究计划的核心目标。