标签
该论文研究了参考答案（gold reference）的选择对多语言基准评测分数的影响，发现交换参考标注可使F1分数移动数个点，并揭示了一个未记录的标注聚合默认设置导致参考答案与被评输出部分重合的问题，提出应将参考敏感性区间与分数一同报告。
本文呈现了三项研究，探讨了LLM与基于规则标注系统在土耳其语语料库中推断性叙事特征的评分者间信度，结果显示一致性较低，并指出了自动检测与标注一致性方面的挑战。
KINA（Knowledge Index of Noah's Ark）是一个包含899个项目的LLM基准测试，覆盖261个细粒度学科。该基准引入形式化保证来确保学科代表性、通过奖金锦标赛实现激励对齐的标注，以及基于自助法的排名稳定性报告。评估42个模型后，表现最好的包括Gemini-3.1-Pro-Preview（53.17%）、Claude-Opus-4.6（49.92%）和GPT-5.4（48.55%），揭示了分层的而非平滑的排行榜结构。