human-validated

本文介绍了SynthAVE，一个大规模人工验证的电子商务属性值提取基准，采用多LLM竞技场框架（含21种裁判配置）来高效且经济地验证合成标签，同时保持与人工审核相当的质量。

TeachObs引入了一个经过人工验证的多模态教学观察基准，包含30个课堂视频，这些视频标注了片段级别的二元编码和课程级别的专家评分，并评估了五个前沿LLM在三个轨道上的表现，发现没有单一模型能持续优于其他模型，并且模型评估对程序清晰的课程给出了过高评价。