标签
一篇系统综述,回顾了119篇关于大语言模型基准压缩的论文,提出了涵盖单基准内压缩、跨基准套件压缩及自适应评估的分类体系,旨在降低LLM评估成本并提升可靠性。
ZipBench 提出了一个用于压缩大型语言模型基准测试的低成本框架,在保持准确性的同时降低评估成本,并引入了 ZipBench Zoo,其中包含紧凑版本的基准测试。
介绍了DualEval框架,该框架联合校准模型能力与项目难度/锐度,以统一静态基准和竞技场式评估,从而实现更可靠的排名以及基准压缩和异常检测等下游应用。