aggregation-bias

这篇学术论文识别并表征了行为曲线建模中的辛普森悖论，展示了由于生存偏差，聚合如何系统性地扭曲对用户动态的参数估计。作者们在 Goodreads 和 Amazon Electronics 等数据集上验证了这种失真，并提出了分层峰值估计方法来缓解这一问题。

本文指出了 GRPO 风格的大语言模型强化学习中存在的聚合偏差问题，并提出了平衡聚合（Balanced Aggregation, BA）方法。该方法通过对正负子集分别计算 token 级均值，从而提高了训练稳定性和最终性能。