论文页面 - 基于代理指标预测LLM的下游性能

来源：https://huggingface.co/papers/2605.18607

摘要

基于专家编写方案中token级统计的代理指标，比传统基于损失的方法在模型开发的多个阶段能更可靠地预测模型性能。

语言模型开发的进展通常依赖于比较决策：采用哪种架构、使用哪个预训练语料库、或应用哪种训练方案。做出这些良好决策需要可靠的性能预测，然而两种常用信号存在根本性局限。交叉熵损失与下游能力对齐度差，而直接的下游评估成本高昂、稀疏，且在早期训练阶段往往信息不足。我们提出通过聚合候选模型在专家编写方案上的下一个token分布中的token级统计量（如熵、top-k准确率和专家token排名）来构建代理指标。在三种设置下，我们的代理指标始终优于基于损失和计算量的基线：1) 跨家族模型选择：平均Spearman Rho = 0.81（而交叉熵损失为Rho = 0.36）对异构推理模型群进行排序；2) 预训练数据选择：以大约直接评估所需计算量的1/10000，可靠地对25个候选语料库进行目标模型排序，将帕累托前沿推至现有方法之上；3) 训练时预测：在18倍计算量范围内外推下游准确率，误差约为现有替代方法的一半。这些结果表明，专家轨迹是评估模型能力的广泛有用信号源，可在模型开发生命周期中实现可靠的性能预测。

查看arXiv页面 (https://arxiv.org/abs/2605.18607)查看PDF (https://arxiv.org/pdf/2605.18607)GitHub2 (https://github.com/McGill-NLP/proxy-metrics)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.18607)

在您的代理中获取此论文：

hf papers read 2605.18607

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型关联此论文

在模型README.md中引用arxiv.org/abs/2605.18607，即可从本页面链接。

引用此论文的数据集0

没有数据集关联此论文

在数据集README.md中引用arxiv.org/abs/2605.18607，即可从本页面链接。

引用此论文的Space0

没有Space关联此论文

在Space README.md中引用arxiv.org/abs/2605.18607，即可从本页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页面链接。