电子评估

Reddit r/AI_Agents 论文
llm-judge evaluation g-eval chain-of-thought nlg scoring-stability

摘要

这篇文章科普了微软研究院的论文《G-Eval：使用 GPT-4 进行与人类判断更一致的自然语言生成评估》，介绍其通过链式思维生成评分清单并结合各分数的概率加权平均，解决大语言模型评分不稳定的问题。

用 AI 给文本评分时，会发生一件烦人的事：你让它给一篇文章打分，范围是 1 到 10 分。第一次，它给了 8 分。你把完全相同的文本再跑一遍，它却给了 7 分。文本明明什么都没变。发生了什么？实际上，AI 并不真正知道该打 7 分还是 8 分。它可能认为，有 40% 的概率是 8 分，有 35% 的概率是 7 分。这就是为什么 AI 评分会让人觉得如此随机。不过，一种叫作 G-Eval 的流行方法，用一个很巧妙的办法解决了这个问题：先让它思考：在要求评分之前，让 AI 通过思维链逐步写出检查清单中的各个要点。看看底层情况：不要只接受它输出的那个单一数字。要看它对 1 到 10 分中每个分数的置信度。计算加权平均值：如果它在 7 分和 8 分之间摇摆，不要直接取最高分，而是根据它的置信度计算平均值，得到类似 7.4 分的结果。这样一来，你的评估结果就不会在每次运行时都在整数之间跳来跳去了。你会得到一个稳定、平滑，而且确实合理的分数。这套完整的框架由微软的研究人员在论文《G-EVAL：使用 GPT-4 进行更符合人类判断的自然语言生成评估》中提出。认真问一句：你已经在生产环境中用大语言模型当评判者了，还是仍然稳妥地采用传统指标和人工审核？
查看原文

相似文章

让一个 LLM 评审从垃圾水平提升到与人类判断 30 次中 27 次一致——现场、在会议上做到

Reddit r/AI_Agents

> **演讲总结**：这是作者在 AI Engineer World's Fair 上关于 evals（评估）的演讲总结，记录了如何将一个 LLM 评审器（LLM judge）从完全不可用提升到与人类判断 30 次中有 27 次一致：包括改用点式评分（point-wise scoring）避免偏好偏差、校准上下文（context calibration）、更换模型以及应对谄媚倾向（sycophancy）等步骤。

Review Arcade：论LLM评审的人类对齐与可游戏性

Hugging Face Daily Papers

本文利用1000份真实的ACL 2025投稿，研究了LLM生成的评审与人类判断的对齐情况。研究发现，两者的一致性有限，且在不同模型和提示词下存在不稳定性。此外，文章提出了一种无需实质性修改即可人为提高评分的方法。作者建议不应仅依赖LLM评审，并呼吁就其在应对日益增长的投稿量中的作用展开讨论。