LLM 排名并非阶梯：来自传递性基准图的实验结果 [D]

我构建了一个名为 **LLM Win** 的小型网站：https://llm-win.com 它将 LLM 基准测试结果转化为有向图：```text 如果模型 A 在基准 X 上击败模型 B，则添加一条边 A -> B。``` 然后它搜索两个模型之间的最短传递链。模因版是：```text LLaMA 2 7B 能否击败 Claude Opus 4.7？``` 在荒谬的传递基准意义上，有时确实可以。但我添加了一个报告选项卡，因为这种结构本身似乎对模型评估很有用。基于当前 Artificial Analysis 数据快照的一些实验发现：1. **弱到强的可达性很高。** 我检查了 `126,937` 对源模型智力指数低于目标模型的组合。其中 `119,514` 对可以通过基准胜利链到达，可达率为 `94.2%`。2. **大多数路径较短。** 在可达的弱到强组合中：`2-3 跳` 路径占 `91.4%`。因此这并非主要是长链 cherry-picking。3. **直接逆转三元组丰富。** 在将非正基准值视为缺失后，仍有约 `119k` 个直接弱胜强三元组，形式为：`(源模型, 目标模型, 基准)`，其中源模型的智力指数较低但在该基准上的得分较高。4. **某些基准比其他基准产生更多逆转。** 当前高逆转/有用信号候选者包括：Humanity's Last Exam、IFBench、AIME 2025、TAU2、SciCode 5. **不同基准有不同的解释。** 例如，IFBench 大致有：逆转率：~17.5%，覆盖率：~80.0%，与智力指数的相关性：r≈0.82。这表明它可能提供独立的技能信号，而不仅仅是重复整体排名。我目前的解释：LLM 排名最好表示为特定于基准的能力图，而不是单一阶梯。一些逆转可能反映真实的专长；另一些反映基准覆盖限制、波动性或测量噪声。接下来的问题是逆转结构是否有助于构建更好的评估指标：- 识别专家模型；- 识别波动性基准；- 构建稳健的通用得分；- 选择互补的基准集；- 将模型分解为能力指纹。想知道大家的想法：基准逆转结构是有用的评估信号，还是主要源于噪声基准的伪影？