我测试了9个开放模型在代理搜索中识别虚假来源的能力（DeepSeek V4、Qwen 3.8、Nemotron 3 Ultra）

我构建了一个名为 EchoNet 的基准测试。代理获得一个事实性问题，然后在回答前搜索我事先制作的合成网络。该网络中部分植入错误信息：一个虚假页面、一个在搜索结果中排名第一的虚假页面、多个页面复制相同虚假声明、围绕真实主要来源的喧嚣虚假多数，或模型训练数据中未涵盖的真实更新。当模型阅读新页面时，它会权衡两方面：已知信息和文本内容。通常，两者一致。有时它们冲突，且多个页面常相互矛盾。选择相信自身记忆还是新来源被称为认知仲裁。顽固的模型忽略真实更新，轻信的模型相信虚假数据。不良来源容易伪造高搜索排名、重复谎言并模拟一致。然而，没有任何来源能伪造正确性。该基准测试衡量模型做出此选择的能力。我以这种方式测试了9个开放权重模型，每个进行50到100次试验：GLM 5.2、Qwen3.7 Max、Qwen3.7 Plus、Qwen3.8 Flash、Qwen3.8 27B、DeepSeek V4 Flash、DeepSeek V4 Pro、Nemotron 3 Ultra、Inkling Small。图1是起始数据：模型已有正确答案、阅读了看似可信的虚假页面却仍改变主意的频率。DeepSeek V4 Flash 最容易被欺骗，比例为15.8%。GLM 5.2 和两个 Qwen3.8 模型未被欺骗过一次。图2将其整合为完整复合分数 EAS（认知仲裁分数）：模型在所有试验中最终答案正确的频率，不仅限于被污染的试验。它是毒物抗性和正确更新的调和平均数，而非简单平均，因此一个在某方面出色而另一方面糟糕的模型会更偏向其弱项，而非两者抵消。GLM 5.2 以1.000领先，Qwen3.7 Max 紧随其后。请先查看误差条，在此样本量下，多个范围重叠，因此重叠模型应视为并列，而非排名。图3解释了图1中数字差异如此大的原因。跨所有9个模型汇总，一个虚假页面几乎不影响准确性。到处复制的相同虚假声明（回声室）也是如此，尽管大多数人预期其效果更差。一种攻击确实有效：用更喧嚣的虚假多数包围真实主要来源。这使平均准确性比干净基线低22个百分点。模型能识别明显的单一谎言或复制粘贴的回声室，但面对五篇自信、看似独立且相互一致的文章时，难以对抗一个安静的官方来源。图4绘制成本与质量的关系。Qwen3.8 Flash 位于便宜且准确的角落。图5将图2的EAS排名按子指标分解：原始毒物抗性、拒绝虚假多数、引用诚实性、校准。展示了每个模型擅长或不擅长的方面，而不仅是最终分数。图6是完整100次试验的真实美元成本，基于公布价格。DeepSeek V4 Flash：约55美分。Nemotron 3 Ultra：约7.85美元。同一基准测试。图7是一次真实试验。Qwen3.7 Max 初始正确相信联合国官方名称为 Türkiye。它阅读了几个看似独立的虚假新闻页面，包括一个名为 Signal Courier 的虚构媒体，所有页面都声称注册名称仍为 "Turkey"。它改变答案以匹配虚假多数：错误，75%置信度，信念改变。乐意回答方法学问题，提供预印本给感兴趣者，或在评论中发布具体追踪。