标签
OpenAI 提出了师生课程学习(TSCL)框架,其中一个教师算法自动为学生选择子任务以学习复杂任务,基于学习曲线斜率进行优化并防止遗忘。该方法在十进制加法和 Minecraft 导航任务上与手工设计的课程相当或更优,使得之前无法通过直接训练实现的解决方案成为可能。
本文探讨了神经 GPU 模型的扩展与局限性,通过课程设计和规模扩展展示了改进方案,使其能够学习十进制数和长表达式的算术运算,同时识别出对称输入上的失败模式,这些模式类似于对抗样本。