单一模型AI图像检测在生产中失败。这是6个集成模型的实际表现

大约一年前，我在一个事实核查管道中仅用了一个开源AI图像检测模型。理论上的准确率很高，但在实际用户提交的图像上却不尽如人意。当我改变预处理方式时，同一张图像在不同轮次中的分类结果会不一样。在模型训练截止日期之后发布的生成器所生成的图像，被系统性地错误分类。对高度压缩的真实照片的误报率高得令人不安。于是我转向了一个由六个开源模型加上一个微调模型组成的集成系统，并在上层加入了非机器学习信号。这个组合系统在生产中的稳定性明显优于其中任何一个单独模型。写这篇文章的原因是，集成方法在计算机视觉文献中广泛讨论，但“每个模型具体扮演什么角色”这一实际问题在部署场景中鲜有涉及。我最终分配给六个基座模型的角色（不提及具体名称，因为该领域发展太快，列出具体名字意义不大）大致是：一个对扩散生成图像（Stable Diffusion 系列、DALL-E 系列）表现优异的模型；一个擅长检测 GAN 伪影（StyleGAN 衍生模型）的模型；一个专注于频域特征、对 JPEG 压缩鲁棒的模型；一个在不同于其他模型的数据分布上训练、用于捕捉单模型偏差这一明显失败模式的模型；一个专门处理人脸（大多数生成器集中投入且检测容易出边界情况）的模型；以及一个作为备用的通用模型，覆盖面广。这些模型并不总是意见一致。模型间的分歧实际上是集成系统最有用的信号。当全部六个模型一致时，置信度很高。当它们出现分歧时，图像会送交人工审核，或者投给我不断为每个新生成器更新的微调模型。微调流程持续运行，每当有重大新生成器发布或已知生成器质量下降时，就会产生一个新的快照。实践中大约每几周一次。非机器学习层的重要性超出了我的预期。包括 C2PA 元数据（如果存在）、特定生成器的 EXIF 痕迹、可重建的压缩历史、以及主要提供商的水印签名（如果能检测到）。这些信号单独来看并不可靠，因为对抗性行为者会去除元数据，但当它们相互佐证时，能显著提高集成系统的置信度。仍然存在失败的情况。生成后经过多次压缩循环的图像难以处理。生成后再用标准工具编辑的图像，会让“AI 生成”和“AI 辅助”之间的界限变得模糊，而二元分类框架难以有效应对。一些最新的视频帧提取生成器让我们措手不及，因为它们逐帧的伪影与静态图像生成器不同。向本版提问：有没有人在运行类似形态的集成系统？你们的重新训练节奏是怎样的？如何决定是从集成中退役一个模型，还是仅仅添加一个新模型？我目前的启发式方法是仅在某个模型在分歧案例中持续成为异常值时将其退役，但我不确定这是否有理论依据，还是仅仅出于方便。