标签
Self-OPD 引入了一种无需教师的同策略蒸馏框架,用于流匹配模型。该框架利用自探索的随机分支和归一化优势来优化速度场,在多目标对齐方面超越了先前的方法。
提出MI-EPO,一种基于信息理论的多目标对齐框架,用于大型语言模型,通过互信息增强探索,确保生成的响应可区分且与不同偏好向量对齐,在冲突目标间实现稳定权衡。