[P] 我们用第二个 AI 文本检测器重跑了 NeurIPS 的前 LLM 与 2025 年论文检测对比。两个检测器在 2022 年论文上均未标记任何一篇；但在 2025 年论文上，它们的判断存在分歧 [P]

披露：我开发了 ParaTrace，一个带有免费层级的商用 AI 文本检测工具。我发布这些结果，是因为其中包含与 Pangram 之间的分歧，而我无法自行解决，本版块是深入探讨这个问题的合适场所。 背景。在对 NeurIPS 2026 立场论文赛道进行筛选之前，主席团对一场 AI 伦理会议的论文运行了 Pangram 3.3.2，其中部分论文投稿于 2022 年（ChatGPT 之前），部分投稿于 2025 年（NeurIPS 博客，2026 年 6 月 2 日）。我们于 2026 年 10 月通过我们的生产服务，使用 ParaTrace v7 运行了相同的检测。 按 AI 分数分布的论文占比（AI 分数 = 论文中标记为 AI 生成的段落占比，每段数百词） | 年份 | 检测器 | 论文数 | ≥ 50 % | ≥ 90 % | 100 % | | --- | --- | --- | --- | --- | --- | | 2022 | Pangram 3.3.2 | 159 | 0.0 % | 0.0 % | 0.0 % | | 2022 | ParaTrace v7 | 106 | 0.0 % | 0.0 % | 0.0 % | | 2025 | Pangram 3.3.2 | 204 | 1.0 % | 1.0 % | 0.0 % | | 2025 | ParaTrace v7 | 123 | 7.3 % | 1.6 % | 0.8 % | Pangram 的数据行来自 NeurIPS 的帖子。我们只获取到了其中 106 篇和 123 篇论文，因此请比较比例而非绝对数量。 2022 年：两个检测器在任何级别上均未标记任何论文。逐段来看，我们在 4,512 段中有 18 段（0.4%）被判定为 AI 生成。在 n = 106 的情况下，论文级别的 95% 置信上限误报率仍然约为 3.5%。 2025 年：在 ≥ 90% 的级别上，两者均标记了 2 篇论文。在 ≥ 50% 的级别上，我们在 123 篇中标记了 9 篇，而 Pangram 在 204 篇中约标记了 2 篇。目前没有 ground truth 来确定哪些 2025 年论文使用了 AI。 我认为有四种可能的解释： 1. Pangram 3.3.2 未能检出的 AI 辅助写作。 2. ParaTrace 按设计将 AI 润色的人类写作也计为 AI（在我们的测试中，42.8% 经 AI 改写的人类文本会被标记）。NeurIPS 允许 AI 进行文案编辑，因此我们额外的标记可能正是这种情况，按照 NeurIPS 的政策据此采取行动是错误的。 3. 对 2025 年人类写作中某些特征的误报，而 2022 年对照组无法捕捉到这一点。 ParaTrace 使用 512 词的文本块进行评分，根据 Pangram 4 的技术报告（https://arxiv.org/pdf/2607.27183），Pangram 4 也采用相同方法，但本研究使用的是 Pangram 3.x，不确定是否使用了不同的块大小。 我不认为 2022 年的干净结果使得第 3 种解释不可能成立，只是概率降低了。我怀疑第 2 种解释解释了部分差距，如果有人拥有已知 AI 使用声明的 2025 年论文，我想在这些论文上进行测试。 与 Pangram 公开测试集的正面比较。我们在 Pangram 2026 年 7 月技术报告（Pangram 4）的公开测试集上对 v7 进行了评分，并保留了我们能精确匹配的 21 个结果。其中 15 个结果与 Pangram 4 的差距在 5 个百分点以内。以下是部分结果，包括我们表现落后的项目： | 测试 | Pangram 4 | ParaTrace v7 | | --- | --- | --- | | 学生论文，完全由 AI 撰写（在 1% FPR 下检出） | 100 % | 100 % | | 学生论文，经 AI 改写（在 1% FPR 下检出） | 100 % | 100 % | | 学生论文，经 AI 润色（在 1% FPR 下检出） | 100 % | 94.2 % | | 8 种体裁 vs 近期聊天模型（AUROC） | 1.0000 | 1.0000 | | 新闻、评论、小说等，全文（在 1% FPR 下检出） | 100 % | 98.74 % | | 同上，少于 50 词（在 1% FPR 下检出） | 99.70 % | 73.02 % | | 同上，经 humanizer 工具处理后，全文（在 1% FPR 下检出） | 98.93 % | 21.42 % | | 同上，经 humanizer 工具处理后，少于 50 词（在 1% FPR 下检出） | 73.32 % | 19.36 % | | 人类文本被误报，默认设置 | 0.00 % | 1.86 % | | 知名作者：AI 文本漏检率 | 2.86 % | 4.38 % | | 知名作者：人类文本被误报 | 0.00 % | 1.41 % | "在 1% FPR 下检出" 意味着每个检测器都被调优到使该测试中 1% 的人类文本被标记。Pangram 的数据为已发布的数值，Pangram Labs 未对此进行审查。 TL;DR：在纯 AI 文本上持平，短文本上落后，在 humanizer 工具处理的文本上大幅落后，默认设置下的误报率更高。 我们自己的基准测试（仅使用留出数据，固定设置校准为约 1% 的人类验证文本被标记） 我们评估了一个基于语言模型的 AI 检测器，使用了 26,082 条针对真实用户提示生成的 AI 回答（90 个模型，26 个开发者，截至 2025 年 10 月）。我们取得了 99.6% 的检出率，在 1,172 条来自 2025 年底模型版本（未用于训练）的回答上为 98.6%，在 3,948 条来自训练中未包含任何模型的开发者的回答上为 99.8%。在来自 43 个来源的 22,691 条人类文本上，我们取得了 0.84% 的误报率，且误报率随文本长度增加而降低（少于 50 词的文本为 2.8%（24/846），100-199 词为 1.1%，400 词以上为 0.17%（7/4,088））。最后，我们展示了在来自公开鲁棒性基准的 11 种攻击（每种 1,500 条文本）中，96.0% 的文本仍能被检出。最具挑战性的攻击是对 AI 生成文本进行改写，检出率为 91.5%。 失效场景 - 与训练数据不同的人类写作：成年人撰写的劝说性论文——一种被排除在训练数据之外的体裁——被误报率为 18.4%（32/174）。这是我最担心的一个数字：与训练数据不同的人类写作可能远高于上述平均水平被标记。 - 人类文本经过同义词替换工具处理后：16.4% 被标记。 - Humanizer 工具（见上表）。 - 仅支持英文。 尚未评估：混合人类与 AI 写作的文档，以及 2025 年 10 月之后发布的模型。 完整表格、置信区间和方法：基准报告 · 全部 21 项结果 vs Pangram · 相关学术论文。 可在 paratrace.net 免费试用，无需注册即可进行少量检测。上述判定均为统计估计。我不认为任何检测器——包括我们自己的——应该作为拒绝一篇论文或让学生不及格的唯一依据。欢迎就方法论提问。