inter-judge-agreement

标签

Cards List
#inter-judge-agreement

共识不等于一致:无标签的评分标准澄清提高了大语言模型评判者之间的共识,却未提高其与人类的一致性

arXiv cs.CL ↗ · 5天前 缓存

该论文提出一种无标签的评分标准(rubric)修复流程:通过跨评审模型的分歧自动定位有争议的评分条款并由编辑模型重写。实验表明该方法提升了评审间一致性(Krippendorff's α 提升约 0.07),但并未提升与人类专家评分的一致性,甚至点估计略低于随机条款编辑对照组。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈