标签
MoveBench 引入了首个基于评分标准的基准测试，用于评估大语言模型在体育与健康教练领域的能力，涵盖安全性、科学有效性和个性化三个维度，包含选择题和开放式任务。对15个大语言模型在809道问题、5,012条评分标准上的评估结果显示，模型在安全意识和个性化方案设计方面存在显著不足。
本文提出了 Alice，这是一个大规模的德语基于评分细则（rubric）的自动简答题评分基准，涵盖三个子任务：学习表现（Alice-LP）、知识点（Alice-KE）和技能（Alice-SK）。文章比较了序列分类、零样本 LLM 提示以及评分细则检索三类方法，发现评分细则检索在这些新颖的细粒度子任务上表现最为稳定，而零样本 LLM 则落后于有监督方法。
当使用明确的评分标准时，小型语言模型在评分开放式考试答案时可以与更昂贵的模型一样可靠，从而降低了评分任务中对先进AI智能的需求。
Search2Skill 是一个框架，它训练 LLM 智能体识别能力差距、搜索外部来源，并使用基于规则表的强化学习将检索到的知识提炼为可复用的技能，在专家领域基准测试上优于基线方法。
介绍了PerceptionRubrics，这是一个基于评分标准的多模态AI评估框架，从整体匹配转向原子级审计，使用了1,038张图像和超过10,000个实例特定评分标准，并通过门控评分来强制执行严格的感知保真度。
PerceptionRubrics 引入了一种基于评分准则的多模态评估框架，通过原子审计和门控评分，使基准分数更好地与人类感知对齐，揭示了可靠性差距和开闭分层。
RUBRIC-ARROW 提出了一种交替式奖励建模框架，通过减少平局并利用成对偏好数据改进了基于评分标准的方法，在非可验证领域为LLM后训练实现了具有竞争力的准确率和收益。
本文提出了 ROPD，一种基于评分细则的在策略蒸馏框架，相比传统的基于 logits 的方法，该框架在样本效率上表现更优。它通过使用结构化的语义评分细则而非教师 logits，实现了黑盒场景下的模型对齐。