标签
本文介绍了 AgentActionBench，一个过程导向的基准测试，用于评估 LLM 智能体在机器学习和 AI4Science 领域从科学论文中复现实验的能力。
本文首次系统性地对LLM生成的用于复现研究论文实验的评分标准进行元评估。它将评分标准重新表述为检查表格式，并从内在（语义相似性）和外在（分数对齐）两方面评估生成设置，发现增强设置改善了下游评估对齐，但生成的评分标准往往过于细粒度，且偏向高分。