标签
本文提出了一种用于评估大型语言模型（LLM）响应的多因素评分系统，综合了准确性、简洁性、事实一致性、可读性和连贯性。应用于TruthfulQA数据集，揭示了主流模型的优势与局限，提供了一个透明的评估框架。
BinEval是一个新框架，它将LLM评估标准分解为原子化的二元问题，提高了可解释性，并实现了有针对性的提示优化，在事实一致性基准上取得了强劲的结果。
本文介绍了一种通过偏好学习聚合多个弱指标的分数来提高文本摘要事实一致性的方法，在各种语言模型上实现了一致的事实性提升。