标签
本文探讨了基于LLM评分的基准测试的测量限制，指出其泛化能力受到评判者差异的影响，且协议设计对性能上限有显著影响，从而对AI基准测试方法具有借鉴意义。
RULER为SVG生成引入了实例感知的评分标准奖励，利用视觉语言评判器优化强化学习，显著提升性能，优于之前的方法。
Grading Assistant 是一款AI代理，根据评分标准评估学生作业并起草面向成长的反馈，以帮助教师提供及时、具体和一致的评估。
论文介绍了 K-Bench 01，一个用于评估 AI 代理在真实科学请求中性能的基准，揭示了没有模型能持续达到可接受性能的阈值，过度声明是常见的失败模式。
EviRank 将多模态图像重排序重新表述为使用结构化证据包的语义约束满足，无需训练即可实现最先进的性能。
本文提出一个用于基于量规评分的句子级可解释性框架，比较了SHAP和LLM生成的理由。研究发现，微调预训练语言模型在预测准确性上优于LLM，且SHAP提供了更忠实和可迁移的解释。