factuality

Google DeepMind与Kaggle联合推出了FACTS基准测试套件，这是一套涵盖参数化知识、检索增强、多模态和 grounding 的综合评估体系，用于系统性衡量大语言模型的事实性。

DeepMind推出FACTS Grounding，这是一个包含1,719个示例的全面基准测试，用于评估大语言模型在源材料中的事实依据能力以及避免幻觉的准确性。该基准包括一个公开数据集和一个在线Kaggle排行榜，用于追踪LLM在事实准确性和事实依据任务上的表现。

OpenAI 推出 SimpleQA，一个新的事实性基准数据集，包含 4,326 个简短事实性问题，旨在评估前沿语言模型在提供准确答案而不产生幻觉的能力。该数据集通过双独立标注、严格标准实现高质量，估计错误率仅为 ~3%，GPT-4o 得分不到 40%。