benchmark-quality

作者批评了LLM记忆基准测试的可靠性，指出了诸如LoCoMo中错误黄金答案以及评分指标不一致导致巨大分数差距等问题。他们质疑从业者是否信任这些数字，并讨论了最近的改进，如LongMemEval的知识更新问题。

OpenAI 对编码基准 SWE-Bench Pro 进行了审计，发现约 30% 的任务因测试过于严格和提示不够明确等问题而存在缺陷，建议模型开发者仔细检查结果。

QIMMA 是由 TII UAE 推出的全新以质量为核心的阿拉伯语 LLM 排行榜，它在评估前对基准测试进行验证，以确保性能测量的准确性。该排行榜通过严格的多阶段验证流程，解决了现有阿拉伯语 NLP 基准测试中存在的系统性质量问题。