标签
本文提出了一种基于课程大纲的LLM评判流水线，用于高风险考试备考中的自动化试题评分。该流水线利用教学大纲材料及评分指南，提升一致性与透明度。初步评估显示，其评分结果与人工导师相当。
本文介绍了 EvalAgent，这是一个通过编码领域专业知识来自动化 AI 智能体评估的系统，旨在解决标准编程助手在此任务中的局限性。此外，本文还提出了用于测试评估流程的基准 AgentEvalBench，并展示了在评估可靠性方面的显著提升。
本文介绍了 SAGE，这是一个基于分层大语言模型的框架，通过基于本体的解释维度来评估文学质量。它在评估叙事的文化、情感和哲学方面表现出高可靠性和评分者间一致性，凸显了人类创作作品与大语言模型生成作品之间的差距。