标签
本文介绍了 TasteBench，这是一个以专家评判为金标准的成对比较基准，用于衡量视觉语言模型（VLM）在视觉、品牌、图书和科技领域的“品味”，同时提出了一套控制方案，用于量化并校正位置偏差、词汇泄漏和难度上限等评估伪差。
本文研究利用LLM中的跨模型分歧来定位修订大规模文本标注代码本的专家精力，结果表明理由标注优于其他反馈方法。