pluralism

本文提出了一个以人类为基础的框架，用于衡量开放任务中LLM生成内容的分布广度（文化覆盖面），引入了LLM覆盖率（LLM Coverage）和边界内比率（In-Boundary Rate）两个指标。实验表明，当前的LLM生成的内容合理但狭窄，集中在人类回答空间的中心附近。

针对仅用三个基础模型支撑数百万个人工智能代理是否能产生真正多元化的审议进行批判性反思，认为模型间的相关误差可能造成虚假的一致意见，并寻求从集成学习中得出的可操作指标来衡量真正的人类代表性多样性。

本文介绍了一个领域无关的多层框架，用于无监督提取视角，以评估LLM生成文本中的多元性，发现稀有视角被不成比例地低估。