group-wise-training

GroupDPO 引入了一种内存高效的分组直接偏好优化算法，该算法利用每个提示的多个候选响应，通过解耦反向传播来减少峰值内存使用。该方法在离线和在线对齐设置中均展现出相比标准 DPO 的持续改进。