我对18个AI模型做了基准测试：哪个写出来的东西最不像“AI slop”

如果你用AI写作，你早就知道那些破绽：开场白先清嗓子、工整的三段式、“这不只是X，而是Y”。但我很好奇，想从统计上看看哪些模型实际产出的slop最多，所以我做了自己的开源基准：theslopindex.com。以下是我设计这个基准的方法。 1) 基线：Slop只能与已经存在的东西相比较来衡量。所以我收集了各个写作领域（邮件、社交、聊天、文章）的语料，让每个领域都有一个人类基线。 2) 任务：然后我手写了112个书面场景，让模型生成邮件、Slack、社交媒体帖子和文章（陌生开发邮件、日程变更、发布推文、议论文等）。每个模型在默认设置下拿到完全相同的场景，每个场景有多个样本：你可以在我的Github仓库里看到所有确切输出。 3) 衡量维度：至于如何衡量slop，我们确定了5个维度。 - 简洁性（AI写作最烦人的一点是，本来两句话就能说清，它要写六段） - 模板化（AI经常在毫不相关的场景中复用相同的句子/风格） - 节奏（句子/段落的节奏变化；人类经常切换节奏，而模型保持高度相似） - 破绽（过度使用的词汇和句式，比如“delve”、“这不只是X，而是Y”） - 人类偏好（我认为这最重要，因为其他一切都只是针对它的启发式指标） 注意，我们刻意没有让任何LLM来评判——我认为让LLM评判LLM是相当愚蠢的。 接下来是结果。真正让我惊讶的是，人类偏好对排名的影响非常大。如果只看“机械性”部分，Fable在基准中其实排第2，但把人类偏好纳入后，它就掉到了最后。我觉得这说明：随着最近的模型越来越针对基准优化，它们实际产出的slop反而更多了。这正是好的提示词、工具链（harness）等发挥作用的地方。但无论如何，我很想听听大家的想法：）一切都是开放的：方法在theslopindex.com/methodology，输出和代码也都从那里链接。