llm-judge

GAUGE是一个可重用的离线协议，用于衡量在评估面向任务代理时使用LLM-as-a-Judge的有效性，揭示了满足-成功差距，并提出了一种校准方法以提高准确性。

本文表明，对于2025年后的专有模型，口头置信度已成为LLM作为评判器的更优软评分机制，挑战了之前倾向于对数概率的建议。它引入了过度置信度建议和自我辩论，以改善校准和鲁棒性。

本文引入了一种使用失败空间分析的特定于事实性的标注策略，以在有限的标注预算下改善针对大语言模型的人类锚定事实性评估，并在基准系统上取得了显著的效率提升。

AgentJudgeBench是一个基准，用于评估LLM法官在代理工具调用场景中的可靠性，揭示了结构性上限等限制以及真实情况对对齐的微妙影响。

Netflix 在一篇新论文中详细介绍了他们如何使用 AI 撰写推荐解释，并用另一个 AI 进行评分，强调了生产环境中评分模型的生命周期和维护。

本文提出一个诊断框架，用于评估LLM-judge能否在无参考验证器的情况下有效评估优化任务中的候选技能，重点在于能力和可区分性指标。

本文介绍了推理评审团（Reasoning Jury），这是一个利用开源权重LLM评审团和受调控的共识机制来评估长推理轨迹的系统，在识别推理缺陷方面显著优于前沿模型，而成本仅为其一小部分。

A Scale AI research paper proposes Rubric Dropout, a dropout-style regularization for rubric criteria in rubric-as-reward RL, showing it mitigates reward hacking and improves out-of-distribution gold judge scores on medical and science benchmarks.

LangChain 宣布，LinkedIn 的 Tanvi Motwani 将于 9 月 24 日在 Interrupt NYC 上发表演讲，分享 LinkedIn 招聘助手背后的 Agentic Eval Playbook，涵盖代理追踪、LLM-as-a-Judge 系统以及生产环境代理的监控。

This paper shows that LLM judges embedded in reasoning pipelines often make poor decisions, and proposes Evidence-Locked Derive–Gate–Repair (EL-DGR) to constrain judge overrides with evidence certificates, improving accuracy over majority vote and first-candidate baselines.

JudgeArena是一个开源框架，将主要的LLM裁判基准统一在单一接口下，支持对裁判选择的系统研究，并提供与闭源模型相当或更优的开源模型裁判，同时能够模拟LMArena Elo分数。

This paper presents MMLongBench-Doc-V2, a corrected and semantics-aware revision of the MMLongBench-Doc long-document QA benchmark, fixing annotation errors and replacing string matching with an LLM judge, along with a decision procedure for empty-set keys.

This position paper argues that language model evaluation scores should be treated as perishable knowledge claims, not ground truth, and proposes explicit metadata such as formality tier, scope declaration, and expiration date to counter 'trust inflation' caused by averaging weak and strong signals.

本文介绍了 Similarweb 如何使用 LangSmith 评估长篇代理研究报告，结合工具调用的确定性检查和 LLM 作为评委的质量评分，重点关注使回归可检查并实现 A/B 比较。

Joseph Decker 为他的产品 Condensr 评估了16个AI模型的真实性，发现排行榜冠军在审计中五次编造内容，于是转而部署了零编造的第二名模型。这篇文章详细介绍了评估过程、LLM判断器中的一个漏洞（由于截断的转录而惩罚了准确的摘要），以及自定义评估优于通用基准的重要性。

SIFT引入了一种自我改进的文档分类器，它使用成本低廉的SPLADE-LightGBM管道和LLM评判器持续自我教学，同时通过冻结门安全机制防止无声退化，从而无需人工标注开销即可实现自主再训练。

本文将信息缺失压力测试推广至开放式医疗对话，发现大语言模型评审者的选择会显著改变表观安全性，且LLM评审者比临床医生更为宽松。

EduPanel是一种基于评分标准、面向学习者的LLM评判器，它使用三个专门的智能体来评估教学视频质量，实现了与人类专家相当的可靠性，同时提高了评分准确性并保持对不可靠输出的可检测性。

本文介绍了Kahneman4Review基准，包含3,563条同行评审，这些评审按照九个理论驱动的文本维度、八个偏见诊断和一个连续的推理质量评分进行评定，旨在评估LLM评审者能否区分同行评审中的分析性形式与真实的认知质量。

CAFE是一个开源平台，应用实验设计原则来评估复合AI系统，通过因子设计和混合效应模型将答案质量差异归因于组件及其交互作用。