在浏览器中自动检测AI文本（5分钟阅读）

# 在浏览器中自动检测AI生成的文本 来源：https://www.seangoedecke.com/deckard/ 自动化AI文本检测目前仍是一个未被充分开发的细分市场。目前唯一的选择是Pangram（https://www.pangram.com/），它表现非常出色，但迫切需要更多竞争。几年之后，如果每个主流社交网络都不会扫描新帖子和评论中的AI内容并加以标记（或直接删除），我会感到惊讶。 我喜欢依赖Pangram来验证当我阅读某些听起来像AI生成的文本时的猜测。但更好的方式是从一开始就选择避开AI生成的文本。我想要的是一个能在后台运行、自动扫描我访问的网站文本的工具，无需我手动请求。我本可以在Pangram基础上构建类似功能，但这需要花钱，而且我通常不喜欢将浏览器看到的每段文本都发送到第三方服务的想法。那么本地模型呢？ 目前开源的AI文本检测模型表现尚可。Pangram声称检测率达到99.66%，误报率仅0.004%。我对一系列小型本地模型进行了测试，结合多个AI检测数据集，得到以下结果： | 模型/变体 | 人工文本误报率 | AI生成文本检出率 | | --- | --- | --- | | **Gradient — MLX 4-bit** (https://huggingface.co/ShantanuT01/gradient-ai-text-detector) | **2.712%** | **52.35%** | | EditLens RoBERTa-large — 社区INT8版本 (https://huggingface.co/benreeve/editlens-roberta-large-onnx-int8) | 2.484% | 56.06% | | Vanguard (https://huggingface.co/ShantanuT01/vanguard-ai-text-detector) | 2.267% | 44.92% | | Desklib (https://huggingface.co/desklib/ai-text-detector-v1.01) | 3.008% | 45.04% | | Raschka DistilBERT (https://huggingface.co/rasbt/ai-text-detector-distilbert) | 2.598% | 39.01% | | Raschka Qwen3-0.6B (https://huggingface.co/rasbt/ai-text-detector-qwen3-0.6b-variable) | 2.028% | 28.67% | | Raschka ModernBERT (https://huggingface.co/rasbt/ai-text-detector-modernbert) | 1.698% | 21.58% | | TMR / Oxidane — INT8 (https://huggingface.co/onnx-community/tmr-ai-text-detector-ONNX) | 1.595% | 19.35% | 我对这些结果并不意外。我甚至没有测试Pangram自己的EditLens 3B模型，因为它的规模太大，无法在我的笔记本电脑后台持续运行，而真正投入生产的Pangram模型可能比这还要大一两个数量级。但这些模型对于理解其局限性的人来说，仍然足够实用。如果你想标记一篇AI撰写的文章，并不需要标记全部内容，只要标记出足以引起怀疑的部分即可。只要清楚误报率约为2%，你就可以避免将单一标记视为AI使用的确凿证据。 受到这些结果的鼓励，我快速制作了Deckard（https://github.com/sgoedecke/deckard）：一个可以在Mac上与本地运行模型（即上表中加粗的那个模型）通信的Chrome扩展。一个优点是我不需要启动Web服务器：Chrome扩展可以在需要时启动模型，并通过原生消息传递（https://developer.chrome.com/docs/extensions/develop/concepts/native-messaging）与其通信。它在活动时占用约400MB至1.2GB内存（相当于额外打开五六个Chrome标签页），如果连续五分钟未使用模型，它会自动关闭。 我很高兴看到Deckard成功标记了我已知的AI生成文本，例如YouTube内置的AI摘要和我自己文章中的AI代码片段： youtube (https://www.seangoedecke.com/static/d9c4176cc00bde9a34ef2c29ad9e54cb/c549b/example2.png) snippets (https://www.seangoedecke.com/static/9ddabc445cc492c847dc6b178801cd3c/07d7d/example1.png) 它足够轻量，我可以一直保持运行。我没有注意到我的MacBook Pro发热或电池续航下降，尽管不同机器的情况可能有所不同。 Deckard现在表现好吗？这取决于情况。它足够好，以至于我计划继续使用它，并推荐给任何对自动AI检查感兴趣的人。它远比Pangram差很多，也远比我认为这类工具在未来几年能达到的水平要差。 早在2023年11月，我就写过AI驱动的代理将会非常重要。我建议尽早开始开发工具，以便在模型变得足够好时做好准备： > 与大多数现代语言模型工程一样，ReAct代理通过将底层模型替换为更好的模型，也能实现巨大的突发改进。……我认为这是尽早投资此类代理的另一个原因，以便在更强大的模型推出时利用它们。 我在那方面是对的，现在（尽管风险较低）我认为在这方面我也对了。AI检测模型只会随着时间变得更好，Pangram不会永远是唯一的选择，我们最终会看到能够很好地识别AI生成文本的小型本地模型。我期待着将Deckard中的本地模型替换为性能提升2倍或10倍的模型。 --- 如果你喜欢这篇文章，考虑订阅我的邮件更新 (https://buttondown.com/seangoedecke) 以获取我新文章的通知，或在Hacker News上分享它 (https://news.ycombinator.com/submitlink?u=https%3A%2F%2Fwww.seangoedecke.com%2Fdeckard%2F&t=Automatically%20detecting%20AI%20text%20in%20my%20browser)。 以下是与本篇有相同标签的相关文章预览： > 我用AI发布的奇怪项目 AI生成的项目都去哪儿了？这是AI怀疑论者常见的问题：既然LLM如此擅长写代码，那么由AI生成的新应用、服务和游戏的浪潮在哪里？我个人并不觉得这有什么矛盾。毕竟，编写代码只是实际发布新产品所涉及的瓶颈之一。而且我也无法谈论我用AI完成的有偿工作（你只能相信我它提高了我的生产力）。但我可以做的是分享过去十二个月里我使用AI构建的个人项目列表。继续阅读... (https://www.seangoedecke.com/weird-projects-i-shipped-with-ai/) ---