在压缩文件上测试图像检测器:我们应如何权衡检测分数?
摘要
作者在压缩文件上测试AI图像检测器,并讨论如何在现实场景中解读检测分数,强调分数与视觉检查之间的冲突。
最近一直在尝试这些工具,看看它们在现实条件下的表现如何。当在AI检测器上测试干净、未压缩的AI输出时,检测率相当高。然而,一旦引入现实世界的变量,如上传到社交媒体、截图或轻微裁剪,置信度分数会显著变化。我现在在思考这些工具应该如何实际使用。如果Truth scan将一个图像标记为85%是AI生成的,这足以作为证据吗,还是严格来说只是与视觉检查并行的次要信号?当检测分数与视觉伪影冲突时,如何判断一个图像是否是AI生成的?
相似文章
AI检测器是个糟糕的想法
本文认为,AI检测器和水印技术存在问题,因为它们忽视了作品背后的人类努力,并降低了AI生成文本的质量。
水印/检索式AI文本检测的碰撞熵下限:在进一步推进之前寻求合理性检查 [D]
一位研究者提出了一个理论界限,表明基于相似性的AI文本检测器(水印、检索)面临由文本分布碰撞熵决定的假阳性率下限,并请求社区对证明及其与先前工作的联系提供反馈。
我如何在不平均不兼容分数的情况下组合11个编码基准测试
作者描述了一种通过组合11个基准测试来比较编码AI模型的方法,使用百分位排名而不是平均原始分数,重点是对98个模型进行去重和加权类别。
为何AI检测在学术诚信中失效
本文评估了学术环境中的商业AI检测器,发现对AI辅助的人类写作存在高误报率,而通过人性化工具(humanizers)几乎可以完全规避检测,因此得出结论:检测分数不应作为不当行为的独立证据。
AI 检测工具根本不可靠
一项非正式实验测试了多款 AI 检测工具,发现它们的结果前后矛盾且不可靠:有时会将人类撰写的文章标记为 AI 生成,有时又会漏掉真正的 AI 生成文本。作者认为,这种不可靠性对学生和投稿者来说是一个严重问题,因为他们的作品可能会被这些工具错误判定。