一个AI在一项测试中得了1753分，而'人类专家'是1000分。这就是为什么我不完全信任这个数字

我一直在看到这种新的基准测试对比（Grok 4.6、Grok 4.5、GPT-5.6、Fable 5），这种数字天生就是为了病毒式传播而设计的。这个测试基本上就是“给AI真实的工作去做，写文档、电子表格、演示文稿，然后以人类专家产出的基线来打分。”人类专家大约在1000分左右。Grok 4.6得了1753分。从纸面上看，这就像“AI现在远远超过人类专业人士。”但问题是，没有一家大型AI公司提到这一点：这个测试并不是根据对错答案来评分的。它的运作方式是，将两个AI的输出并排比较，然后由评分者选择哪个“看起来更好。”没有客观真相，只是在两份作品之间进行偏好投票。如果你以前关注过AI聊天机器人排行榜，这个设置应该会让你觉得眼熟，因为那些排行榜也是同样的运作方式，而人们已经不完全信任它们了。基于偏好的评分倾向于奖励那些看起来精致、自信、格式良好的东西，而不一定是真正正确或有用的东西。一个格式干净、语气非常自信的幻灯片，可能会打败一个更凌乱但更准确的作品，即使准确的那份是更好的作品。所以1753分可能确实意味着“能生成非常专业的输出”，但并不自动意味着“比人类专家做得更好。”这并不意味着这个数字是假的，或者模型不令人印象深刻——它显然令人印象深刻。只是意味着，我会对这类测试中“AI击败人类专家”的标题持保留态度，直到它用真正有正确答案的东西来检验，而不仅仅是两个AI之间的选美比赛。我很好奇，是否真的有人把这些模型用于实际交付式的工作，能说出输出是否经得起考验，还是只是非常擅长看起来已完成。