model-diversity

标签

Cards List
#model-diversity

随机采样在认知上是浅层的:大语言模型中温度变化与模型多样性之间的维度差距

arXiv cs.AI · 昨天 缓存

本文研究了大语言模型(LLM)中的随机采样(自一致性)能否捕捉类似于多样化集成的跨问题结构。通过使用Marchenko–Pastur检验,作者发现,在单个模型内,随机变异最多产生一个显著维度,而24个模型的集成则产生四个,揭示了限制自一致性作为集成替代方案的维度差距。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈