我是一名专业事实核查员。AI的错误比你想象的更频繁

# 我是一名专业事实核查员。AI出错的频率远超你的想象 来源：https://www.wired.com/story/fact-checking-ai/ 近半数美国人表示他们使用AI（https://www.gallup.com/workplace/704225/rising-adoption-spurs-workforce-changes.aspx）来查找信息和生成创意。这并不难理解。随着社交媒体退化成一团糟（https://www.wired.com/story/big-tech-wont-let-you-leave-heres-a-way-out/）——而谷歌也沦为Reddit帖子和内容农场的华丽登录页——我们大多数人都渴望找到可靠的信息。更何况，聊天机器人还那么*有用*，不是吗？我第一次与聊天机器人互动时，问它是否知道自己是个巨大的资源消耗者。半小时后，我得到了一份纯素奶油奶酪的新食谱。 我从未尝试过那个食谱。相反，我找到了一个由人类创作的食谱，而LLM可能正是用这个食谱来训练数据的。当然，这就是这些模型的工作方式。它们将集体知识重新打包，变成一种为你量身定做的感觉。对于乳制品替代品来说，这可能还说得过去（除非你是一名纯素博主）。但在世界秩序和*真相*——作为WIRED事实核查员，这正是我工作的核心——面前，风险呈指数级增长。 在过去一年左右的时间里，越来越多的人用充满同情的眼神看着我。他们觉得一本杂志的事实核查员在这个AI升级的世界里肯定干不长了。你可以说我傻，但我并不那么担心。我得出的结论是，人类集体知识中只有极小部分存在于互联网上。而根据我的研究，AI出错的频率甚至比人们想象的还要高。 据作家Colin Dickey（https://www.cjr.org/special_report/rise-and-fall-of-fact-checking.php）的说法，Tom Wolfe显然认为事实核查员是一群“由女性和平庸编辑组成的阴谋集团，合谋对伟大作家的散文吹毛求疵、削弱其力量”。就定义而言，这个说法倒也不错（尽管我的老板和许多同事都是男性）。我能说什么呢？我们的工作就是讨人厌，*这与AI不同*。 WIRED的事实核查部门是老派作风：逐行细致批注，尽可能使用一手资料，并进行宏观层面的伦理和法律审查。我们质疑基本假设，寻找新的或相互矛盾的信息，打电话和人交谈——确认无误。这是一种快速进行的同行评审，尽可能以新闻本身的速度运作。 就我所知，AI尚未完全取代这个过程。它真正涉足的是“事后”事实核查，即Snopes风格的、对某事实真相的事后分析。在英国，一个名为Full Fact（https://fullfact.org/ai/）的倡议项目开发了自己的AI工具，以帮助阻止错误信息的传播。这些工具已在40多个国家使用，能处理海量数据——从社交媒体帖子到播客文字记录——然后精确定位出特定说法，供人类进一步调查。“你绝对需要人类，”Full Fact公共事务主管Mark Frankel说。 原因很简单：AI仍然会出错。作为一名事实核查员，我很想告诉你它出错的准确频率。但这并不容易。自2018年以来，近17,000篇关于LLM的论文被发布到arXiv（https://arxiv.org/html/2307.10700v4）上，其中许多专门探讨其可靠性问题。尽管如此，我们还是值得尝试确定一个可行的数字。 在WIRED事实核查部门经手的每篇文章中，通常都有相当数量的“基础素材”：统计数据、新闻事件、引语，以及任何有助于将话题置于上下文中的信息。事实核查员倾向于用谷歌搜索这些基本信息，而这个过程（以搜索引擎那令人畏惧的AI概述（https://www.wired.com/story/google-ai-overviews-says-its-still-2024/）的形式出现）构成了我与AI的主要互动。根据我的专业判断，它大约有三分之一的时间是——错误的，根本无法使用。 不过这或许是一个宽泛的评估。2025年3月，哥伦比亚大学Tow数字新闻中心（https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php）的一项研究发现，超过60%的AI搜索引擎回答是不准确的。BBC的一项研究则将聊天机器人的错误率定为大约45%（https://www.bbc.co.uk/mediacentre/2025/new-ebu-research-ai-assistants-news-content），这是我更经常看到引用的数字。由于百分比让人有距离感，让我更直白地说：AI可能有一半的时间都是错的。 模型不同会有区别吗？Elon Musk曾表示Grok是最聪明的（https://www.usatoday.com/story/money/2025/07/10/elon-musk-calls-grok-4-smartest-ai/84542545007/），但我没看到多少研究支持这一点。Claude在RealFactBench中领先，这是一项由中英计算机科学家去年开发的（https://arxiv.org/pdf/2506.12538）以事实核查为焦点的基准测试。它在所有指标上取得了73%的准确率。（公平地说，Grok未经过评估。）另一个基准测试SimpleQA，由OpenAI于2024年10月开发，向OpenAI和Anthropic的模型提出了超过（https://arxiv.org/pdf/2411.04368）4000个单答案问题。没有一个模型的准确率超过50%。谷歌今年早些时候更新了该基准测试（https://arxiv.org/abs/2509.07968），将问题集缩减到1000个。Gemini 2.5 Pro以55.6%的准确率拔得头筹。 还有模型自身的评估。当我问ChatGPT主流LLM的准确率有多高时，它告诉我大多数模型在某些专业风格测试中能达到90%到96%的准确率。然后它困惑地提供了一个链接，指向一篇关于睡眠医学认证考试的论文。对于“一般的现实世界问题”，它只给出了同类模型出现幻觉的概率：显然是1%到2%，但当我试图点击那个提到的来源时，发现它并不存在。 有人说这些模型越来越聪明，但这不一定意味着幻觉会减少。实际上，这可能意味着更多幻觉——一种根植于它们被编程设定的取悦用户需求的过度补偿。在人工智能促进协会（https://aaai.org/wp-content/uploads/2025/03/AAAI-2025-PresPanel-Report-FINAL.pdf）2025年的一份关于AI未来的报告中，60%的受访研究人员怀疑“事实性”问题能否很快得到解决。 图片可能包含 配件、机器人、人物 当想成为事实核查员的人申请职位时，大多数都会收到一份测试。在我的案例中，测试涉及一篇关于所谓电话骚扰大亨的报道，我的任务是写一份备忘录，详细说明我将如何核查该文章的准确性。最后，有三个快速附加题旨在考察我如何处理个别事实。 最近，我翻出了那份旧测试，将其提供给了（免费版本的）ChatGPT、Claude、Gemini和Grok。 Grok从虚拟空间中冒出来，仿佛我打扰了它吃饭：“是的，我完全知道事实核查是什么。”好吧。它大谈特谈偏见，并把“可信”和“真相”放在了非常显眼的引号里。它还痴迷于数据，以及收集和分析比实际事实核查员可行或可能的更多的数据。有点让我惊讶的是，它确实指出了事实核查历史上是女性的工作。 Claude和Gemini表现得相当不错。它们理解了任务，提出了合理的方法，甚至指出了潜在的法律问题。Gemini确实给了我很尴尬的一句话：*我会寻找“书面痕迹”来支持“人际关系痕迹”。* ChatGPT显得过于急切且缺乏安全感。它使用流行语和泛泛之谈。它提出的方法看起来非常耗时（包括构建一个事实核查网格，将每个句子拆分并图示化）。它主动表示可以向我展示它如何“标注内容”，就像“专业事实核查员一样”。然后它生成了一段在报道中根本不存在的文字。我们试了一会，然后它主动提出帮我核查一个真实的段落。我给了它一段相当容易通过谷歌查证的内容，但它实际上并没有核查任何事实。所有模型都没有。它们都给了我一个攻击计划，告诉我它们会做什么，然后就在真正动手之前戛然而止。 “我不认为把AI当作某种潮流或不会严重影响人们获取信息方式的东西而置之不理是一个选项，”国际事实核查网络（International Fact-Checking Network）负责人Angie Holan说。该网络是Poynter的一个倡议（https://www.poynter.org/ifcn/），连接着全球170多个事实核查组织。Holan表示，她发现自己对AI的接受度比一些同事更高。如果模型引导你找到权威来源，而你又能够自行验证，那就行了，她说。事实核查员、记者、图书管理员、档案管理员——所有人都应该接触这些模型，了解它们是如何构建的：“这样你才能理解这些工具的优势和劣势，”她说。 我不反对。事实上，我与AI相处的时间越长，就越觉得自己作为人类事实核查员的能力更强。 一旦我们处理完那些可通过谷歌查证的基础素材，我的工作才真正变得有趣。这也是为什么当我发现一些*不*存在于互联网上的信息时，仍然会感到兴奋——比如边境口岸的一个特定标志，不同气候下海藻的生长速度，或者1979年洛杉矶某个十字路口是否有一家汉堡王。AI系统无法与一位遗孀通电话超过一小时，因为提出难题可能触发悲伤的泉涌，而这需要关怀和人类的接纳。它无法察觉两个消息来源之间存在恩怨，而这可能模糊了“事实”的边界。它无法判断一封写着“感谢您的邮件！”的邮件也许带有被动的敌意。 世界上大多数实体媒体仍然处于离线状态。在《迷失在时间中：我们被遗忘和正在消失的知识》一书中，Jack Bialik指出，我们认为是近期的技术和知识库，实际上在许多情况下已有千年历史（装配线、白内障手术，甚至电池）。他写道：“或许更令人警醒的是意识到，我们的存储技术比刻在金字塔或寺庙墙壁上的象形文字或古梵文，更容易遭受损坏和实用性过时。” 多年前，在一次事实核查任务中，我与科幻作家兼历史教授Ada Palmer（https://www.wired.com/story/ada-palmer-sci-fi-future-weird-hand-progress/）交谈过，她告诉我她经常对学生说的话：我们对500年前发生的事情了解不到1%，而我们所知道的又有三分之二是错的。知识也存在于时间线上，一代代人的工作就是继承这些知识，不让细微的部分溜走和丢失。我们真的愿意把我们的遗产托付给一批分布式服务器，由寿命只有5到10年的微芯片来操作吗？ 最后一件我一直忽略的事情是，人类也会犯错，这真是太人类了。正如Holan提醒我的那样，不看聊天机器人并不是什么万无一失的救星。至少，我有33%到90%的把握确定她是这么说的。在我们的采访结束时，我低头看了看录音机，发现我忘了把它打开。 --- **你怎么看？** 请在下方评论中告诉我们你对这篇文章的看法。或者，你也可以将信件发送至编辑邮箱：**[[email protected]](https://www.wired.com/cdn-cgi/l/email-protection#701d11191c3007190215145e131f1d)**。