condensr

Joseph Decker 为他的产品 Condensr 评估了16个AI模型的真实性，发现排行榜冠军在审计中五次编造内容，于是转而部署了零编造的第二名模型。这篇文章详细介绍了评估过程、LLM判断器中的一个漏洞（由于截断的转录而惩罚了准确的摘要），以及自定义评估优于通用基准的重要性。