我创造了一种名为RPS的LLM后训练方法。初步结果显示它提高了Qwen3-8b的程序合成可靠性。[R]

Reddit r/MachineLearning 工具
post-training curriculum-learning learning-rate-decay program-synthesis qwen llm-training

摘要

RPS是一种受神经科学启发的两阶段LLM后训练方法，结合了课程学习和学习率衰减。初步结果显示，与等学习率训练相比，在Qwen3-8b上程序合成可靠性得到提升。

RPS受神经科学启发。作为人类，我们在儿童时期以高神经可塑性学习基本技能。然后在青少年和成年时期以低神经可塑性学习高级技能。RPS分两阶段训练模型。在第一阶段，模型以高学习率在简单数据上训练。在第二阶段，模型以第一阶段10%的学习率在困难数据上训练。RPS基本上是现有思想的结合：课程学习+学习率衰减。ARC-AGI 1公开评测分数：基础模型：Qwen3-8b RPS：4% EPS（两阶段等学习率）：2.4% 程序合成统计：无错误执行的程序：RPS：1145/1200 EPS：870/1200 [https://iamjasonfeng.blogspot.com/2026/05/regressive-plasticity-schedule.html](https://iamjasonfeng.blogspot.com/2026/05/regressive-plasticity-schedule.html) [https://github.com/iamjasonfeng/RPS](https://github.com/iamjasonfeng/RPS)
查看原文

相似文章

RLPF：面向代码生成的基于性能反馈的强化学习

arXiv cs.LG

RLPF 是一种强化学习方法，它在正确性之外还训练代码模型优化运行时间，使用基于执行进度和相对效率的分阶段奖励。在 PerfCodeBench 上使用 RLPF 微调 Qwen3-32B，将正确且可运行的解决方案从 11.1% 提高到 54.6%，并将相对效率从 8.1% 提高到 38.6%。

使用CPT和RAG训练本地LLM（含评估）

Reddit r/ArtificialInteligence

本文描述了一个项目，通过使用持续预训练（CPT）和RAG进行领域特定知识训练本地LLM的实验，并包含全面的评估和发现。