论文页面 - 评估结论的可复现性如何？一项关于LLM推断提示结构的自我审计

来源: https://huggingface.co/papers/2609.30074

摘要

对LLM系统的评估通常基于小型提示集进行平均，并将模型以排名表形式呈现。我们通过案例研究——LLM推断的提示结构——来探讨这类表格的可信度：涵盖五个系列、参数量从8B到675B的八个开源模型变体，禁用缓存，记录了293个原始中间表征。首先，被测现象本身就不稳定。相同的调用并不能可靠地复现相同的结构，平均节点集Jaccard系数介于0.39到0.96之间，且72%的提示-模型单元格从未达到节点集完全一致。对评估过程的审计进一步削弱了其结论，而这正是我们的主要贡献。在联合聚类自举重采样下，只有排名末尾是稳固的：两个可复现性最差的模型在99%和86%的复现中保持排名，中间四个模型在27%到48%的复现中保持排名，而前两个模型仅在68%的复现中保持排名。因此，该表能可靠地识别最差的模型，但无法可靠地识别最佳的模型。两种同样合理的合并重复实验的规则改变了八个结果中的四个，并使整体结论变动了七个百分点。将推断结构与标准注释进行对比表明，可复现性不等于准确性。此外，八个端点中有四个在测量后的十周内被撤销，因此无法再按原定规范运行该研究。小样本的LLM评估因此可能显得远比其证据所能支持的更为确定。我们建议在任何排名旁边报告排名稳定性、单元格溯源信息、执行的敏感性比较、原始单次运行输出以及测量日期。

查看 arXiv 页面 (https://arxiv.org/abs/2609.30074)查看 PDF (https://arxiv.org/pdf/2609.30074)GitHub0 (https://github.com/sarkar-dipankar/llm-evaluation-self-audit)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.30074)

在代理中获取此论文：

hf papers read 2609.30074

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无关联模型

在模型的 README.md 中引用 arxiv.org/abs/2609.30074 即可从此页面链接到该论文。

引用此论文的数据集1

dipankarsarkar/llm-evaluation-self-audit 查看器• 更新于约19小时前 • 1.69k (https://huggingface.co/datasets/dipankarsarkar/llm-evaluation-self-audit)

引用此论文的 Spaces0

无关联 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2609.30074 即可从此页面链接到该论文。

包含此论文的合集0

无包含此论文的合集

将此论文添加到合集 (https://huggingface.co/new-collection)即可从此页面链接到该论文。