认识论Sybil抵抗:在不增加证据的情况下倍增AI代理
摘要
本文形式化了多代理AI系统中的认识论Sybil问题,即在不提供独立证据的情况下增加代理数量会导致推理质量下降,并提出了追踪证据谱系以改善聚合效果的方法。
arXiv:2609.01873v1 公告类型:新
摘要:多代理AI系统通过生成代理和综合报告来改进推理。但另一个代理并不等同于另一个观察:表面上独立的报告可能源自同一证据,而真正独立的证据可能产生几乎相同的报告。我们将此形式化为认识论Sybil问题。当 I(Theta; Z | R) = 0 时,报告 Z 相对于报告 R 是一个认识论Sybil扩展。通常,仅基于报告的聚合器无法区分复制与独立佐证:在未观察到谱系的情况下,相同的报告可能导致不同的后验概率。一个高斯共享根模型表明,共同谱系并不意味着完全冗余。重复提取会增加信息,直至达到源级上限,而共享基础模型在独立代理间引发的关联提取错误会进一步降低该上限。我们使用超过20,000次受控的LLM代理报告和提取调用,在合成证据文档上测试了这些预测。固定一个证据根,同时将报告倍数从1增加到32,会使朴素后验覆盖从0.940下降到0.263。固定报告数量,同时将证据根倍数从1增加到16,可以缩小差距,并且在 k = 16 时,聚合器在统计上无法区分。代理的重复提取错误是相关的(gamma_cal = 0.719,样本外估计),因此关联提取聚合器相应地恢复了校准。一个受控操作将表示相似性与证据谱系隔离开来。它使报告空间去重机制的平均推断聚类数量变化了1.425(95% CI [1.363, 1.485]),而真实谱系的四倍变化仅使其变化了0.040([-0.045, 0.120])。因此,集体推理应追踪证据谱系和依赖性,而非代理或报告的倍数或相似性。
查看缓存全文
缓存时间: 2026/09/03 05:58
# 认知Sybil防御:在不增加证据的情况下倍增AI智能体 来源:https://arxiv.org/html/2609.01873 Marc Bara 2026年8月 ###### 摘要 多智能体AI系统通过生成多个智能体并综合报告来提升推理能力。但多一个智能体并不意味着多一个观测:表面上独立的报告可能源于同一证据,而真正独立的证据却可能产生几乎相同的报告。我们将此形式化为一个认知Sybil问题。当报告Z相对于已接纳的报告集合R满足信息量条件I(Θ;Z|R)=0时,Z被称为一个认知Sybil扩展。任何仅基于报告的聚合器通常无法区分复制与独立验证:相同的报告在不同未观测来源下可能支持不同的后验概率。高斯共享根模型表明,共同来源并不意味着完全冗余。重复提取会向源信息上限递增信息量,而共享基础模型可能在独立智能体间引发的关联提取误差则会进一步降低该上限。我们在超过20,000次对合成证据文档的可控LLM智能体报告与提取调用中检验了这些预测。保持一个证据根固定,当报告数量从1增至32时,朴素后验覆盖率从0.940骤降至0.263;保持报告数量固定,当证据根数量从1增至16时差距被弥合,且在k=16时聚合器表现无统计学差异。智能体的重复提取误差存在相关性(样本外估计的校准相关系数γ̂_cal=0.719),关联提取聚合器因此恢复了校准。一项受控操纵将表征相似性与证据来源分离:它使报告空间去重机制的平均推断聚类数变化1.425(95%置信区间[1.363, 1.485]),而真实来源四倍变化仅使其变化0.040([-0.045, 0.120])。因此,集体推理应追踪证据来源与依赖关系,而非智能体或报告数量或相似性。 ## 1 引言 假设三位分析师预测某公司将会违约。一位审查了经审计的账目,另一位获取了银行支付数据,第三位独立采访了主要供应商。再考虑另外三位分析师,他们提出不同且详细的论据,但最终都源自同一份信用评级报告。两种情形都包含三份报告,可能产生相同的投票结果或置信度。然而它们代表了不同的信息结构。这一区分日益重要,因为生成报告的成本已变得低廉,且推理系统本身现在能够生成报告。协调者可以将同一来源发送给多个智能体,将一个智能体的输出作为另一个的输入,让多个智能体接触重叠的检索结果,或将共享基础模型的多次实例输出进行组合;单一来源在重新聚合前可以被摘要、翻译、批判或重构,最终以看似无关的形式返回系统。反之,真正独立的证据可能产生近乎相同的报告。因此,可观测多样性与证据多样性并不必然重合。许多经典融合模型将依赖性视为预存来源的属性,尽管分布式估计与数据污染场景已表明推理架构也能通过再传输创造依赖性。生成式智能体系统放大了第二种情况:生成智能体、分支检索或重新提示共享模型是系统自身采取的行动,而非固定外部来源群体的属性,因此智能体系统不仅是在依赖条件下进行聚合;其自身的协调过程可能创造出随后被误判为验证的依赖性。智能体数量、报告数量与证据根数量因此成为不同的量,核心问题在于:何时一个额外智能体的报告构成新证据,而不仅仅是新声音?我们将该智能体对潜在状态增加的边际信息贡献形式化。信息源之间的依赖性本身是预测组合、分布式估计与社会学习中长期研究的问题;第2节(https://arxiv.org/html/2609.01873#S2)将本文置于该文献及相关多智能体AI系统(明确追踪或折扣证据来源)的背景下。此处解决的问题是集体AI推理中该问题的架构形式:当系统能低成本倍增智能体、推理路径与报告时,什么量应控制证据累积?聚合器必须知晓什么以防止表面验证的增长速度超过支持它的证据?我们视潜在状态的边际信息(而非智能体或报告数量)为在该类复制中应保持不变的量。该问题源于自主智能体与多智能体系统本身,而非仅由它们例证:信念聚合、信任与声誉机制、以及人机集体都预设了一个答案——何时一个额外智能体的报告值得更多集体信心,而生成式协调现在迫使该预设被明确化并通过架构本身强制执行。令Θ表示潜在状态,R=(R₁,...,Rₙ)表示推理系统已接纳的报告。当I(Θ;Z|R)=0时,我们称附加报告Z为认知Sybil扩展。该报告可能具有不同身份、使用不同语言、呈现不同论据或通过独立计算过程处理。其定义性特征是:在已接纳信息条件下,它对Θ不贡献任何新信息。这重新定义了Sybil防御。经典Sybil攻击倍增身份。认知Sybil倍增表面证据支持而不倍增关于状态的信息。该现象可能是对抗性的,但也可能源于诚实再传输。两个问题组织了本文其余部分。第一,仅凭报告内容能否充分识别证据来源以实施此不变性?第4.2节(https://arxiv.org/html/2609.01873#S4.SS2)表明通常不能。第二,当报告确实共享同一根时,该根实际包含多少信息?当报告的提取误差本身相关时(如共享基础模型的智能体可能如此),这如何变化?第5节(https://arxiv.org/html/2609.01873#S5)在高斯模型中回答这两个问题。第6节(https://arxiv.org/html/2609.01873#S6)继而探讨溯源接口能证明与不能证明什么。第7与第8节(https://arxiv.org/html/2609.01873#S7,https://arxiv.org/html/2609.01873#S8)通过计算与实证检验这些结果:一项合成蒙特卡洛研究在人为设定的依赖结构下验证了解析模型;超过20,000次对真实语言模型智能体的调用显示了相同定性失败及其修正(基于测量而非假设的依赖),包括一项直接分离表征相似性与证据来源的受控设计。本文有四项贡献: 1. 引入认知Sybil防御(定义2(https://arxiv.org/html/2609.01873#Thmdefinition2))作为集体推理准则,并将受保护量确定为潜在状态的边际条件信息,而非智能体身份、报告数量或报告相似性。该表述明确指出,证据贡献仅相对于聚合器可用信息才有意义。 2. 建立了仅报告的识别障碍:相同的可观测报告轮廓可能对应复制来源或独立验证,并需要不同的贝叶斯最优更新,同时一个补充的“不增发”结果限制了固定证据后代所能集体包含的信息量。 3. 推导了信息如何在精确复制与独立证据两个极端之间累积。从共享根的重复提取仅向有限上限增加信息量,共享模型可能引发的关联提取误差则会进一步降低该上限,从而将证据来源与提取过程本身引入的依赖性分离。 4. 在超过20,000次对真实语言模型智能体的调用中检验了这些区分。在固定来源下,倍增报告在依赖独立性假设的聚合中导致严重过度自信;增加真正独立根的数量消除了该失败;重复提取误差表现出显著残余相关性;一项受控2×2设计显示,具体的报告空间去重机制对表征响应强烈,而对其旨在恢复的证据来源几乎无响应。 综上,这些贡献将一个经典依赖问题转化为集体AI推理的显式设计问题。生成式协调可以将一个证据谱系以边际成本可忽略的方式转化为多个智能体、报告、推理路径与表征,使名义数量成为日益不可靠的证据数量代理指标。此处的贡献是使该区分可操作:显式分离智能体、报告与证据根数量;通过条件信息定义边际证据贡献;形式化隔离向聚合器隐藏来源与依赖的后果;将共享根依赖性与关联提取分离;并在真实语言模型调用中通过受控报告与来源操作检验所得预测。依赖证据的底层现象是经典的;该框架提供的是一个通用准则,用于决定何时额外的AI生成声音构成额外证据。 ## 2 相关工作 以下文献确立了信息源间的依赖性削弱了朴素聚合,涉及预测组合、分布式估计、社会学习与基于协方差的融合。生成式多智能体协调改变的是推理系统自身倍增与转换报告的规模、成本与表征灵活性。 ### 2.1 依赖信息聚合 信息源间的依赖性长期被视为预测组合的核心,进一步延伸至证言与仪器的认识论:Olsson(2002)与Bovens及Hartmann(2002)概率性地研究了证人一致或重复仪器读数何时构成真正验证,将同一独立性问题置于形式认识论中。更贴近本文使用的因果结构,Dietrich与List(2004)对陪审团决策建模,其中每位陪审员的投票并非直接源自真实状态,而是来自共享证据体,这正是第3.1节(https://arxiv.org/html/2609.01873#S3.SS1)的Θ→E→(R₁,...,Rₙ)结构;他们证明一旦承认此共享根,经典孔多塞陪审团定理对陪审团扩大时集体近乎确定正确性的保证可能失效,即使最有能力的陪审员也可能被证据误导。Winkler(1981)研究了从依赖信息源导出的概率分布组合,Clemen与Winkler(1999, 2007)将其发展为依赖专家聚合的一般处理:专家间的共享背景、方法或数据源产生冗余而非额外信息;依赖必须作为输入单独建模于每位专家的边际可靠性;给定共同源时信息等价的专家任一单独贡献都有限。Kuncheva、Whitaker、Shipp与Duin(2003)记录了分类器融合中的平行效应:具有相同个体准确率的分类器池在不同联合依赖结构下可实现显著不同的多数投票准确率,而仅凭成对多样性度量无法唯一确定集成性能。分布式估计是本问题的直接前驱:当估计在网络中重复交换时,信息可能返回嵌入于另一估计的估计器中,将返回的估计视为独立会重复计算某些观测,产生过度自信的不确定性(McLaughlin, Evans, and Krishnamurthy, 2003);数据整合研究在来源相互复制时处理类似问题,因此依赖来源间的一致性不应被视为朴素组合规则所推断的独立验证(Das Sarma, Dong, and Halevy, 2011)。协方差交集解决了未知互相关时的相关问题(Julier and Uhlmann, 1997),近期关于重叠协方差交集的研究将其扩展至具有共享相关部分结构知识的场景(Pedroso, Batista, and Heemels, 2026);第9节(https://arxiv.org/html/2609.01873#S9)将回归此关联。经济学提供了行为对应:DeMarzo、Vayanos与Zwiebel(2003)表明重复传输如何创造与信息准确性无关的影响力,Golub与Jackson(2010)刻画了朴素社会学习仍成功聚合信息的条件,Enke与Zimmermann(2019)提供实验证据表明人们系统性忽视关联并重复计算来自共同来源的信息。认知Sybil可被解读为此行为现象的策略性或算法版本,由生成式系统强化——这些系统降低了复述成本,同时使共同来源更难从表面形式推断。该文献确立了重要新颖性边界:本文并未声称报告、专家、来源或分类器间的依赖性削弱朴素聚合、共享来源创造冗余证据、或共享证据根能击败集体判断的经典收敛保证(Dietrich and List, 2004);每一点均已被确立。Dietrich与List的模型像陪审团定理文献一般,将共享根结构视为分析者给定的。本文重点不同:报告本身通常不可观测此结构(定理1(https://arxiv.org/html/2609.01873#Thmtheorem1)),当从已承认根提取的过程本身跨报告相关时信息如何进一步退化(第5.3节(https://arxiv.org/html/2609.01873#S5.SS3)),以及在真实语言模型智能体下的两项受控实证检验。 ### 2.2 Sybil与克隆鲁棒性 Douceur(2002)引入经典Sybil攻击作为单一参与者创建多个身份;机制设计中的假名操纵研究了单一经济行为者自我呈现为多个参与者的相应可能性。Burnat与Davidson(2026)将此视角应用于机器学习数据归因,使用商机制聚合证据支持的归因簇而非原始身份。
相似文章
多元证据,更优预测:信息不对称下的多智能体协商
本文介绍了InfoDelphi框架,该框架利用信息不对称(将证据划分为共享的公共子集和不相交的私有子集)来改进多智能体LLM的协商与预测。在PolyGym基准测试上,它在Brier得分上比单智能体和多智能体基线提升12-18%,在准确率上提升4-8个百分点,证明了多样化证据是有效多智能体推理的关键。
当多个模型参与时,AI代理感觉更加可靠
探索如何使用多个AI模型进行代理工作流,揭示隐藏的不确定性和推理差距,表明未来的系统可能依赖跨模型共识而非单模型链。
多模型AI系统中的涌现协作审议:一种基于BFT的认知综合协议
本文提出了一种基于BFT的认知综合协议,能够实现多个AI模型间的涌现协作审议。
AI认知风险:新兴机制与证据 [R]
一篇由30位专家合著的新论文探讨了来自人工智能的认知风险—即对我们形成准确信念和良好推理能力的威胁—包括说服、认知卸载和反馈循环等机制,并概述了减轻这些风险的方向。
部分证据基准:对智能体系统中授权受限证据的评估
本文提出了 Partial-Evidence-Bench,这是一个用于衡量智能体 AI 系统中“授权受限证据”失败模式的确定性基准测试。它评估模型在处理访问控制限制可见性的任务时的表现,重点考察其识别并报告信息不完整的能力,而非悄无声息地生成看似完整实则遗漏关键信息的回答。