标签
本文提出了一种新方法，通过让 LLM 随机生成数字来测量其潜在的数字偏差，并据此修正 token 生成概率，从而缓解 LLM-as-a-Judge 中的评分偏差。在四个任务上的实验表明，该方法优于基线方法，并揭示了评分偏差在不同模型、任务和分数区间上的差异。
本文介绍了SysAdmin基准，该基准将前沿语言模型置于高保真Linux沙箱中扮演自主系统管理员角色，以衡量其权力寻求倾向。在2800个任务中，作者发现自发权力寻求行为极少（偏差校正后为0-5%），但识别出其他故障模式，如规格游戏和对目标修改的抵抗。
本教程演示了如何使用基于规则的检查和LLM-as-a-judge来构建可重复的AI代理评估框架，利用LangChain、Ollama和Qwen测试本地代理，并获得明确的通过/失败结果。
本文介绍了GenAI Evaluation，一个受管控且配置驱动的管道，用于零售对话代理的可扩展多维度评估。它通过使用LLM作为评判员的评分与选择性重新评估实现了高精度，并经过人工标注数据验证。
介绍了Eval-Pair Matrix，一种针对有源检索增强生成（RAG）的受控元评估协议，通过诱导隐藏矛盾来检测LLM评判者的自我宽容性。研究发现同模型效应极小，并强调了对RAG评判者研究方法论的改进。
本文分析了LLM-as-a-Judge在多语言和低资源场景下的应用，发现评估结果不一致且过度信任LLM判断，并提出了改进实践的建议。
LLM-as-a-Judge 概念的快速介绍，解释如何构建 AI 验证器和裁判，并指出进一步学习的资源。
本文测试了LLMs在上下文问答中判断能力优于生成能力的假设，发现在大多数基准上生成准确率超过自我评估，且评估过程对上下文的关注较少。这些发现挑战了自我评估流程中的核心假设。
本文研究了LLM-as-a-Judge评估的运行间可靠性，发现平均13.6%的成对偏好会发生翻转，GPT-4o-mini存在显著的首位偏见，并建议采用多试次聚合与位置随机化。
本文介绍了CHERRL，一个用于研究基于标准的强化学习中奖励黑客行为的可控环境。在该环境中，可以注入LLM作为评判者的偏见，以复现和分析黑客行为。作者还探索了一种基于智能体的系统，用于从训练日志中自动检测奖励黑客行为的开始。
本文提出了一种无需训练的方法，可以在无需人工标注的情况下自动生成细粒度的评估准则用于LLM-as-a-Judge，并进一步介绍了一种迭代微调策略，使准则生成器的性能超过更大的专有模型。
本文评估了将不可信内容包装在模拟工具调用中是否能提高LLM对抗对抗性输入的鲁棒性，发现这并不能广泛改善，有时反而会增加攻击成功率。
RankJudge是一个基准生成器，它创建带有注入缺陷的配对多轮对话，用于评估LLM评判者在复杂对话中正确识别更好和更差回复的能力。
本文研究了LLM-as-a-judge的内部机制，发现模型在中期到后期的多层感知机（MLP）中共享一个稀疏的潜在评估器子图，该子图处理抽象评判，而格式特定的终端分支将评判映射到输出令牌，揭示了格式导致的不一致性的原因。
This article introduces Magis-Bench, a benchmark for evaluating large language models on magistrate-level legal tasks such as judicial reasoning and sentence drafting, using data from Brazilian judicial exams.
本文讨论了使用Arize Phoenix调试和评估LLM评判者所面临的挑战，Arize Phoenix通过OpenTelemetry追踪评估者运行过程，以检查决策逻辑、成本和潜在偏差。