evaluation-mismatch

本文突出了 Claude Opus 和 Gemini Pro 在预测基准测试中的性能排名反转，具体取决于模型是自行进行网络搜索还是使用固定的证据。这表明，在研究阶段 Opus 表现出色，而 Gemini 在基于固定证据的判断方面更胜一筹，揭示了标准基准测试与实际部署条件之间的不匹配。