benchmark-robustness

本文指出，标准的多选题问答基准对措辞偏差敏感，将知识与表面形式熟悉度混为一谈。作者提出了ParaEval框架，该框架为每个答案选项使用多种释义，根据最有利的措辞对模型进行评分，从而减少虚假的性能差距，实现更稳健的评估。