@zihengh1: LLM-as-a-judge 现在在自动评估中无处不在。但它可能缓慢、昂贵且不透明。如果我们问...

X AI KOLs Timeline 论文
llm-evaluation automated-evaluation llm-as-judge hybrid-system rubric-extraction pareto-frontier

摘要

介绍 PAJAMA，一种混合评估系统，通过提取评分标准并以编程方式执行，改进了 LLM-as-a-judge 方法，推动了速度、成本和透明度的帕累托前沿。

LLM-as-a-judge 现在在自动评估中无处不在。但它可能缓慢、昂贵且不透明。如果我们向法官索取一次评分标准，然后以程序的形式执行该逻辑呢？介绍 PAJAMA——一种新的混合评估系统，推动了 LLM-judge 的帕累托前沿！🚀 https://t.co/wz8j8JaZ0m
查看原文
查看缓存全文

缓存时间: 2026/07/03 02:28

LLM作为裁判现在无处不在，用于自动化评估。但它可能速度慢、成本高且不透明。如果我们让裁判一次性提供它的评分标准，然后将该逻辑作为程序执行会怎样？隆重介绍 PAJAMA——一种全新的混合评估系统，将LLM裁判的帕累托边界推向新高度！🚀 https://t.co/wz8j8JaZ0m

相似文章

面向LLM-as-a-Judge的动态评估准则生成与优化

arXiv cs.CL

本文提出了一种无需训练的方法，可以在无需人工标注的情况下自动生成细粒度的评估准则用于LLM-as-a-Judge，并进一步介绍了一种迭代微调策略，使准则生成器的性能超过更大的专有模型。

教育中的LLM评判：基于课程大纲的评分流水线

arXiv cs.AI

本文提出了一种基于课程大纲的LLM评判流水线，用于高风险考试备考中的自动化试题评分。该流水线利用教学大纲材料及评分指南，提升一致性与透明度。初步评估显示，其评分结果与人工导师相当。