AI 检测工具根本不可靠

我对多款检测 AI 生成内容和文本的软件进行了测试。我的实验方法是自己在 Word 文档中写多篇文章，然后让 AI 逐字逐句地重写同样的内容。实验结果相当有趣。我的部分数据表明，检测工具把我手写的文章标记为 AI 生成，却没有识别出真正的 AI 生成文本；而另一些情况则恰恰相反。我原以为这些检测工具只是检查文本中隐藏的 AI 水印，但显然并非如此。我让 AI 用同样的词语和短语重写一篇文章两次。第一次的检测结果是「人类撰写」，而第二次的结果却是「100% AI 生成」——但这两篇都是 AI 写的。在这项研究中，我把 AI 的原始回答直接复制粘贴到检测工具中，也把我手写的文本直接粘贴进去。这是一个亟需解决的严重问题，学生和作品提交者可能会因此陷入大麻烦，尤其是当审阅者依赖 AI 检测工具来判断时。查阅资料后我了解到，这些检测工具的原理是标记文本中过于规律的人工化行文节奏，这听起来似乎有道理。问题在于，它会把非 AI 文本标记为 AI 生成，或者把 AI 生成的作品判定为人类撰写。同样的词语、同样的短语、同样的作品，结果却截然不同。