truthfulqa

本文审计了LLM集成的五个多样性指标，发现它们与多数投票增益的关联与模型能力高度纠缠，且在控制能力后不稳定。唯一稳健的信号是适度的残差成对共失败关联。

本文提出了一种用于评估大型语言模型（LLM）响应的多因素评分系统，综合了准确性、简洁性、事实一致性、可读性和连贯性。应用于TruthfulQA数据集，揭示了主流模型的优势与局限，提供了一个透明的评估框架。