self-generated-data

本文介绍了一种无指令的纯对齐方法，用于构建大型音频-语言模型，该方法通过冻结LLM和音频编码器，仅在自生成数据上训练一个轻量级投影器，实现了与传统多阶段流程相比更少数据下的竞争性性能。

本文探讨了在大型语言模型的中间训练阶段使用多样化的自生成数据如何提高强化学习的有效性，尤其是在推理任务方面。

本文提出在强化学习之前，对语言模型进行基于自生成多样化推理轨迹的中期训练，通过让模型接触多种有效的解题方法，展示了在数学基准测试上强化学习性能的提升。