精细调整与小众AI模型 vs AI检测器

尽管Pangram及其客户都在为能够宣称近乎完美的检测率和几乎没有误报而互相庆祝，但对我们来说，重要的是不要轻信魔术师的话，而要探究其背后。我稍作调查，发现了一些商业可用的模型，这些模型可以精细调整以模仿你选择的作家的写作风格。我只能想象，提示其中一个模型将你的框架想法转化为像Conrad或Faulkner那样有价值的作品会有多令人陶醉，但我不会批评用户。我想做的是关注大公司如何通过假设你不会深入调查其断言来掩盖其解决方案中的明显漏洞。那么，让我们看一些数字。Pangram可以宣称对普通LLM在特定风格提示下有97%的准确率，GPTZero有91%。记住，这些是AI检测器，它们的目的是检测AI。幸运的是，在正常情况下，它们以极低的误报率（基本上为零）做到这一点，假设我们不把英语学习者和自闭症谱系的人混进来，但现在我们不讨论这些。但是，面对精细调整的模型，这些模型训练以模仿特定作者或作品集，Pangram，检测器的宠儿，准确率降至3%，GPTZero降至0%。我可以发布精细调整模型的链接，但我不想给他们带来更多业务。简而言之，Houston我们遇到问题了。读者更喜欢基于受版权保护的书籍训练的AI输出而非人类专家作家 Chakrabarty, Ginsburg and Dhillon Stony Brook University, Columbia Law, MIT 附图是本文原始和人类创作的证据。