fine-grained-evaluation

本文介绍了ImpossibleRubrics，一个开源评估框架，它使用细粒度的对抗性评分标准对大型语言模型进行压力测试，旨在减少评估偏差并揭示隐藏的失败模式。

CriticGen 是一个细粒度、生成感知的评估框架，适用于大型语言模型，它生成特定样本的评估标准，以提供可操作的反馈来提高答案质量。

ReliableRAG 是一个可靠性驱动的框架，旨在通过评估细粒度信息三元组来对抗检索增强生成系统中的虚假信息，用于多跳问答，以确保准确且忠实的答案。

PRM-as-a-Judge 1.5 是一款工具包，提供细粒度指标和可靠性工具，用于评估具身机器人模型，超越二元成功率，专注于过程进展和执行质量的评估。

本文介绍了HieraRAG，这是一种用于确定RAG基准最优粒度的层次化框架。它生成了跨三个维度的5,872个合成问答对，并发现理想粒度因维度而异，为从业者提供了一种可移植的程序。

本文介绍了Elmes+，一个面向长尾教育场景下LLMs细粒度评估标准构建的自动化框架，并提出了涵盖11个学科330个场景的Edu-330基准。该框架使用多智能体引擎和自演化模块来协同优化评估标准与测试数据，揭示了顶级LLMs在多维教育能力上的差异。