标签
论文提出了 CHOIR（Collective Hierarchically-Ordered Inquiry Responses，集体层级有序问询响应）框架，将认知人类学中的自由列表引出法引入其中，用于探测和量化 LLM 集成在表面一致性之下隐藏的多样性，并发现基础模型身份是可识别的最强信号，能够区分不同的模型声音。
本文审计了LLM集成的五个多样性指标，发现它们与多数投票增益的关联与模型能力高度纠缠，且在控制能力后不稳定。唯一稳健的信号是适度的残差成对共失败关联。
本文研究了将多个LLM的概率估计进行聚合是否会产生群体智慧效应，发现学习型聚合器优于单个模型，并且训练截止期污染是此类评估中普遍存在的混淆因素。