标签
提出可靠性引导的偏好优化（RGPO）方法，通过估计标注者可靠性并基于共识动态调整训练，处理LLM对齐中的不一致人类反馈，性能优于标准RLHF方法。
本文提出了AHEAD，一种用于多类标签聚合的跨标注者学习框架，该框架使用图神经网络对标注者可靠性进行建模，在涵盖NLP、CV、视频和音频的10个真实世界数据集上实现了显著的准确性提升。