我开发了 EvalSeal：LLM 评估的可复现性收据

Reddit r/AI_Agents 工具
llm-evals reproducibility open-source eval-tools benchmarking tamper-evident agent-reliability

摘要

EvalSeal 是一个开源工具，通过多次运行、翻转率测量和防篡改封印来增强 LLM 评估的可复现性，揭示了 LLM 评判器的不稳定性。

我一直在开发 EvalSeal，一个小型开源工具，旨在使 LLM 评估结果更加可信。想法很简单：单一评估分数是不够的。EvalSeal 对每个案例进行多次运行，测量翻转率，捕获来源，并将结果密封到防篡改账本中。从当前仓库中得到的一个发现是：使用 LLM 评判器时，20 个边界案例中有 5 个在重复运行中翻转了判定。使用数字答案匹配对 40 个 GSM8K 案例，0 个案例翻转。相同的模型家族，不同的评分方法。不稳定性来自评判器，而非目标模型。当前版本是 v0.3.0。我目前正在 v1 路径上工作，包括签名、套件文件和面向基准的评分。欢迎所有从事 LLM 评估、CI 门禁或代理可靠性的人员提供反馈。
查看原文

相似文章

JudgeArena：可复现的LLM裁判评估统一框架

arXiv cs.CL

JudgeArena是一个开源框架，将主要的LLM裁判基准统一在单一接口下，支持对裁判选择的系统研究，并提供与闭源模型相当或更优的开源模型裁判，同时能够模拟LMArena Elo分数。