machine-learning-evaluation

ReLaG 是一个可扩展且与数据模态无关的框架，它通过近邻图与社区检测来推断相关样本的分组，从而生成独立的训练–测试划分，解决了在含潜在关系的数据上随机划分所导致的过于乐观的泛化估计问题。相比现有的关系感知方法，ReLaG 具有更优的可扩展性，并提供一种无需标签的流程，可根据生产环境调整划分粒度，现已作为可通过 pip 安装的开源软件发布。

OpenAI研究人员分享了与第三方合作进行前沿模型评估的经验教训，强调了考虑评估框架以及奖励破解、数据污染和故意低报等潜在有效性问题的必要性。