标签
本文主张将数据和AI策略分开会产生技术债务,并提出了一个统一的方法,包括支柱和路线图,以整合数据基础设施和AI能力,实现生产可扩展性。
本文提出了一种难度感知的SFT-then-RL框架,用于在推理任务上训练小语言模型(参数量≤3B),核心观点是数据难度应与SFT(学习新技能)和RL(巩固已有技能)各自的不同角色相匹配。作者为困难SFT样本引入了Bridge机制,并针对RL失败案例提出了Critique Fine-Tuning方法,在五个推理基准测试上均取得了一致性提升。