师生课程学习

OpenAI Blog 论文

摘要

OpenAI 提出了师生课程学习(TSCL)框架,其中一个教师算法自动为学生选择子任务以学习复杂任务,基于学习曲线斜率进行优化并防止遗忘。该方法在十进制加法和 Minecraft 导航任务上与手工设计的课程相当或更优,使得之前无法通过直接训练实现的解决方案成为可能。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/04/20 14:45

# 教师-学生课程学习 来源: https://openai.com/index/teacher-student-curriculum-learning/ OpenAI ## 摘要 我们提出了教师-学生课程学习(TSCL)框架,这是一种自动课程学习的方法,其中学生尝试学习复杂任务,而教师从给定的子任务集合中自动选择任务供学生训练。我们描述了一系列教师算法,其核心思想是学生应该更多地练习那些进度最快的任务,即学习曲线斜率最高的任务。此外,教师算法通过选择学生性能下降的任务来解决遗忘问题。我们证明了TSCL在两个任务上与精心设计的课程相匹配或超越了其性能:使用LSTM进行十进制数字加法以及在Minecraft中的导航。使用自动生成的课程使我们能够解决一个直接训练时无法解决的Minecraft迷宫,学习速度比均匀采样子任务快一个数量级。

相似文章

先竞争后协作:前沿AI教师构建可验证课程,使编程学生超越模仿

arXiv cs.AI

本文介绍了一种先竞争后协作的框架,多个前沿AI教师(Claude、Codex-GPT、Grok、Gemini)通过执行测试排名,然后协作构建可验证课程。研究发现,对教师解决方案进行模仿(SFT)会降低有能力的编程学生的表现,而使用相同课程进行带可验证奖励的强化学习(RLVR)则能提升表现,尤其是在竞赛问题上。

StudentSim:训练基于LLM的学生模拟器

Hugging Face Daily Papers

StudentSim从稀疏数据中训练个性化的基于LLM的学生模拟器,以镜像学习者响应并适应导师指导,在国际象棋、写作和数学领域超越GPT-5.4。

收集人类反馈

OpenAI Blog

OpenAI 发布了 RL-Teacher,这是一个开源工具,可以通过人类反馈而不是手工设计的奖励函数来训练 AI 系统,应用于安全 AI 开发和复杂强化学习问题。