automated-metrics

一项针对10个前沿大语言模型、涵盖62个问题的大规模人类评估发现，所有模型都表现出响应漂移，其中大多数模型收敛到78-81%的偏差上限，而两个模型实现了较低的偏差。漂移程度因领域和问题而异，自动指标几乎无法解释人类判断，这凸显了人类评估的必要性。

本文提出了两种自动化指标：词汇对齐分数（Lexical Alignment Score）和三角化偏好转变（Triangulated Preference Shift），用于识别大语言模型中的词汇过度使用，并将其归因于偏好学习阶段。该方法在六个模型家族上使用PubMed摘要进行测试，无需人工干预即可重复先前的研究发现。