我运营着一个基于AI的事实核查平台，却坚决不让大语言模型给出最终判定。以下是我的理由。

搭建一个生产级事实核查系统一年后，我不断为之辩护的那个最反直觉的设计决策是：我们流程中的大语言模型绝不输出数值评分、绝不输出真/假判定、绝不输出任何会作为评判呈现给用户的内容。LLM从源材料中提取结构化的真实情况标记。一个确定性的Python评分层将这些标记转化为判定等级。仅此而已。 解释起来有些尴尬，因为每个人（包括潜在客户）都认为“AI驱动的事实核查”意味着AI给出判定。如果让LLM说出“这个说法有73%的可能性是假的”，然后就此收工，我们的宣传会更简洁。但以下是我拒绝的理由。 LLM评分的不稳定性是真实存在的，且文献记载不足。用相同的提示词、相同的模型、针对同一个说法运行五次，你会得到从“基本错误”到“部分正确”的不同判定，取决于采样温度和来源在上下文窗口中出现的顺序。这对创意写作无伤大雅。但记者需要为自己的发布或撤稿决定辩护时，这就是灾难。你不可能把“我们的评分因随机采样而有30%的波动”这句话拿到编委会面前。 LLM的判定也无法审计。当LLM说“假”时，我们无法指出哪些来源起了作用、哪些信号影响了评分、应用了哪些权重。即便使用思维链提示，推理链也是不透明的，因为链本身是概率生成的，可能事后合理化，而不是反映实际计算过程。与我交谈过的记者们不想要一个自信的AI判定。他们想要一个可验证的判定。这是两码事。 我最终选定的分工如下：LLM擅长提取。给定一份源文档和一个说法，它能够以不错的可靠性标记出“此来源证实X”、“此来源与Y矛盾”、“此来源对Z保持沉默”。这些标记是结构化的（布尔值或简短分类标签），而非数值评分。Python评分层接收这些标记，根据基于来源可信度（从MBFC、NewsGuard、RSF、Wikidata交叉引用独立计算得出）预先定义的权重，生成判定等级。权重有文档记录。评分规则是确定性的。相同的输入永远产生相同的输出。任何人都可以审计每个来源对特定判定的贡献程度。 这种取舍是实实在在的。与让LLM自由“推理”相比，系统灵活性降低了。一些说法不适合分类提取模式的边缘情况有时会产生别扭的输出。评分权重本身是一种嵌入假设的设计选择，更改它们需要谨慎的工程设计，而非重新训练。但这些是诚实的约束，对用户可见，而非伪装成客观性的隐藏非确定性。 我认为这不仅仅关乎事实核查。任何借助AI进行决策的高风险领域（信用评分、招聘筛选、医疗分诊、法律分诊）都面临同一个根本选择：让LLM生成评分，指望没人注意到随机性；或是限制LLM只做提取，并将决策逻辑置于可审计之处。业界大多选择前者，因为能更快交付。我认为第二种方法是长期唯一站得住脚的，尤其是在欧盟《人工智能法案》即将在未来18个月内要求生产系统具备决策可解释性的背景下。 我很好奇这里是否有人在其他领域构建类似的基于LLM之上的确定性架构，或者是否存在我忽略的反面论点。“让LLM决定”派显然有被我低估的优势。