忠实的,而非纠正的:多跳智能体中继中的消息格式效应依赖于层级
摘要
本文研究了消息格式(如自由文本、JSON、三元组)在多跳LLM智能体中继中如何影响信息丢失,发现格式效应取决于中继模型的能力,且结构能忠实地保留内容但不会纠正错误。
arXiv:2607.09678v1 公告类型:新
摘要:当LLM智能体相互传递信息时,消息格式是否重要?两派文献存在分歧:格式优化工作报告称结构化消息在不损害准确性的情况下降低了成本,而格式限制工作发现施加结构会降低生成质量——且两者均未测量消息经过多跳时会发生什么,此时复制保真度而非一次性生成占主导地位。我们引入了一个受控中继测试平台:十二个程序化生成的原子事实的简报以五种格式(自由自然语言、精确指令自然语言、JSON、三元组、键值对)逐跳重新编码,经过六跳,由固定的强评分器根据程序化真实事实进行评分,跨越两个中继能力层级、一个认知负荷条件以及一个配对分支错误注入。我们发现消息格式效应是依赖于层级的。(i) 在忠实中继指令下,强中继几乎是无损的——文献中记载的“传话游戏”崩溃并未发生——且增加每跳认知负荷会使格式级保真度保持不变(在±1.8分以内),同时生成成本增加24-53%。(ii) 在弱中继(1.5B)下,六跳召回率的跨格式差异扩大了8.7倍(从2.3分到20.5分),这由两种对立机制驱动——刚性格式支付的编码代价和固定键JSON模式特有的漂移抵抗——使得格式排名在传输过程中发生翻转。(iii) 在配对分支注入中,注入的错误值一旦存在,就会在83-100%的链中持续到最后一跳,与每种格式对真实值的保留高度匹配,且未对邻近事实造成可检测的附带损害。结构提供了一条忠实、错误定位的通道——而非纠错码——格式选择应遵循管道中最弱的中继。
查看缓存全文
缓存时间: 2026/07/14 04:15
# 多跳智能体中继中的消息格式效应具有层级依赖性 来源:https://arxiv.org/html/2607.09678 ## 忠实而非纠错:多跳智能体中继中的消息格式效应具有层级依赖性 ###### 摘要 当LLM智能体相互传递信息时,消息格式是否重要?两派文献给出了矛盾的答案:格式优化工作报告称结构化消息在不损害准确性的同时降低了成本,而格式限制研究则发现施加结构会降低生成质量——且两者均未测量信息经过*多跳*传输时的情况,而在此场景中,拷贝保真度而非一次性生成质量占据主导。我们引入了一个受控的中继测试平台:任务简报包含十二个程序化生成的原子事实,这些事实以五种格式(自由自然语言、精确指示自然语言、JSON、三元组、键值对)逐跳重新编码,经过六跳,由固定强评估器根据程序化真实值进行评分,覆盖两个中继能力层级、一个认知负荷条件以及一个配对分叉错误注入。简言之,在这个两层案例研究中:格式效应取决于中继模型——在强能力层级,还取决于中继的忙碌程度——而结构能在不修复内容的情况下保留内容。具体而言,(i) 在忠实中继指令下,强中继几乎无损:文献中记载的“传话游戏”崩溃并未发生,除自由自然语言外,所有格式的残余损失集中在第一步编码中;(ii) 在强能力层级,每跳增加认知负荷会使生成成本提高24–53%,而格式层面的保真度变化被限制在±1.8个百分点以内(联合边界)。在弱(1.5B)中继下,(iii) 六跳召回率在不同格式间的分散程度在QA度量上扩大了8.7倍(在匹配项目上,格式均值标准差95% CI为5.3–15.5;范围从2.3扩大到20.5个百分点),这是由两种相反机制驱动的——刚性格式需支付的编码代价与固定键JSON模式特有的漂移抵抗——这两种机制在传输过程中翻转了格式排名;(iv) 在弱中继下的配对分叉注入中,一个无冗余的错误值一旦出现,会在83–100%的链中持续到最后一跳(表面存在性;评估器层面76–86%),而对相邻事实的附带损害无法检测到(每种格式的上界为0–13个百分点;JSON的上界≤0)。结构提供的是忠实、错误定位的通道——而非纠错编码——格式选择应遵循流水线中最弱的中继。 忠实而非纠错:多跳智能体中继中的消息格式效应具有层级依赖性 Zayx Shawn 独立研究者 ## 1 引言 多智能体LLM系统本质上是中继系统。规划者为执行者总结任务,执行者将发现传递给审查者,编排者重新为子智能体做简报:在每一个边界上,任务关键信息由一个模型重新编码,供另一个模型使用(Hong 等,2024;Qian 等,2024;Du 等,2024)。生产流水线越来越倾向于在这些边界放置*小*模型以降低成本(Narayan 等,2025;Żywot 等,2026),而经验性故障分析将超过三分之一的多智能体故障归因于智能体间对齐问题,而非基础模型能力(Cemri 等,2025)。因此,每次交接中丢失了什么——以及消息*格式*对此丢失的影响——是一个承载负荷的设计问题。 两个相邻的文献给出了相反的回答。一方面,格式优化工作表明,让智能体以结构化的非自然语言格式通信,能以更少的token成本保持准确性(Chen 等,2024),协议和安全指南也推荐使用模式约束消息来防止语义漂移(Wibowo 和 Polyzos,2025)。另一方面,格式限制研究发现了相反的迹象:强制模型在刚性模式内生成会可测量地降低推理能力(Tam 等,2024),且自然语言工具接口优于结构化模式(Johnson 等,2025)。与此同时,另一支关于失真的文献记录了通过LLM生成链传递的信息会逐渐退化——即“传话游戏”效应(Mohamed 等,2025;Perez 等,2024;Ghafouri 和 Ferrara,2026)——在一项近期研究中,委派准确性在五个阶段内从90.7%下降到22.5%(Ao 等,2026),理论则限定了中继误差的累积(Fan 等,2026)。 这些研究从未交汇:失真研究固定格式而变化链长;格式研究在浅层固定深度交换中变化格式,但未进行逐跳保真度测量。这个缺失的单元格之所以重要,是因为多跳中继改变了主导机制。在一跳中,问题是结构是否有助于模型*生成*;在多跳中,问题是结构是否有助于模型*重新编码*它未创作的内容——而一个不利于生成的格式可能仍能锚定内容对抗累积漂移,反之亦然。在中继机制下,格式效应的符号确实是未知的。 我们通过一个受控测试平台来解决这个问题,其中所有威胁有效性的因素都被严格限定。真实值是*程序化的*:简报由十二个合成原子事实(所有者、数量、截止日期、约束、依赖、禁止)渲染而成,因此保真度是针对生成器测量的,而非针对另一个模型的输出。每个中继智能体只看到前一跳的消息,并必须以相同格式重新发出完整的交接信息。保真度通过两种方式评分:一个容忍释义的QA召回率(固定强评估器在温度0下回答十二个封闭形式问题,通过程序化精确匹配)和一个无判断器的逐字字符串召回率;评估器在所有条件下保持不变,因此中继能力从不与评估器能力混淆。在这个测试平台上,我们交叉了五种格式与六跳、两个中继能力层级(一个强API模型与一个1.5B本地模型——这是一个捆绑了系列、规模、量化和服务栈的对比)、强层级下的认知负荷条件,以及弱层级下的配对分叉因果错误注入。 #### 贡献。 (1) 我们以首个格式受控的中继研究(据我们所知)填补了格式×跳数×能力的设计空间,并发现对于强中继,传话游戏崩溃根本不会发生:经过六跳后,每种格式的QA召回率都保持≥0.973,除自由自然语言外,残余损失集中在第一步编码而非累积(§4.1)。 (2) 在强层级,每跳认知负荷使生成成本提高24–53%,而任何保真度效应被限制在每个格式±1.4个百分点(逐点;联合±1.8个百分点)以内(§4.2)。 (3) 我们展示了格式效应是*能力机制*:在匹配项目上,六跳召回率的跨格式分散度在弱中继下扩大了8.7倍(标准差比值,CI 5.3–15.5;范围2.3→20.5个百分点),每种格式都显著退化(配对弱−强差异为18–37个百分点)。该效应分解为两种相反机制:刚性格式支付的编码代价(Kv/Json的跳1召回率0.765–0.800,统计上彼此无差异,而Constr为0.962)与特定于固定键模式的漂移抵抗:Json在跳1–6中仅丢失4.7个原始点,在幸存者偏差控制度量下将0.94的跳1正确事实保留到跳6(其他人0.74–0.85),且其与所有其他格式的配对漂移优势在邦费罗尼校正后仍排除零——从而在传输中翻转了排名(§4.3)。 (4) 通过配对分叉注入,我们为“模式防止漂移”的民间说法提供了因果裁决:一旦一个注入错误出现在消息中,每种格式都会忠实地传播它(最后一跳表面持久性83–100%,密切匹配各格式对*真实*值的保留率86–100%),且没有格式表现出对相邻事实的可检测的附带级联效应。结构是忠实、错误定位的通道,而非纠错编码(§4.4)。 ## 2 相关工作 #### LLM链中的迭代失真。 Mohamed 等(2025)以翻译链为工具确立了迭代LLM生成会使信息失真;Perez 等(2024)刻画了重复传输中的吸引子动力学;Ghafouri 和 Ferrara(2026)追踪了哪些社会信息在AI–AI中继中幸存。在机制上与我们最接近的是 Fan 等(2026)对跨顺序工具调用的误差累积边界,以及 Ao 等(2026)推导的委派多阶段流水线的互信息限制,并观察到准确性在五个阶段内崩溃。所有这些都是固定消息格式的;没有将格式作为实验变量,且大多数依赖翻译或社会内容代理,而非基于任务事实的程序化真实值。 #### 单次交换中的格式效应。 Chen 等(2024)展示了智能体可以采用紧凑的非NL格式,在准确性相近的情况下减少高达72.7%的token;结构化智能体间协议在部署框架中是标准做法(Wang 等,2025;Marro 等,2024;Ehtesham 等,2025)。相反的一极报告说格式*限制*会降低推理能力(Tam 等,2024)——这是一个有争议的发现,其大小取决于提示工程,我们自身的强层级天花板结果也对此有贡献——并且自然语言接口在工具使用上优于结构化模式(Johnson 等,2025);提示格式敏感性本身很大(Sclar 等,2024)。这些单次交换结果不能外推到中继场景,因为在中继中,逐跳拷贝保真度而非生成质量占主导——这正是我们测量的机制。 #### 多智能体通信及其失败。 拓扑结构塑造了错误和洞见的传播方式(Shen 等,2025),种子错误可能固化为错误共识(Xie 等,2026),故障分类学将智能体间对齐问题列为系统故障的主要原因之一(Cemri 等,2025)。能力是这一文献中新兴的调节变量:架构–任务匹配决定了协作何时有帮助(Kim 等,2025),而计算量匹配的比较则逆转了多智能体的头条收益(Tran 和 Kiela,2026)。正交的工作用激活、潜在表示或KV缓存完全替代了文本通道(Ramesh 和 Li,2025;Du 等,2026;Shi 等,2026);我们则刻画了黑箱、跨供应商流水线实际使用的文本通道。我们的实验卫生学遵循近期针对集体LLM实验的方法论指南(Zhou 等,2025)。 ## 3 中继测试平台 ### 3.1 具有程序化真实值的语料库 每个项目是一个任务交接简报,通过确定性模板从三个领域(软件迁移、事件响应、物流)中的十二个原子事实渲染而成,包括四种事实类型:人–角色绑定、数量(端口、预算、百分比、版本)、约束/截止日期、依赖/禁止,值从合成池(名称、代码、数字)中随机抽取。真实值就是生成的事实元组本身——绝不是任何模型输出——并有一个自检确保每个事实的表面形式逐字出现在跳0简报中(字符串召回率=1.0,通过构造)。合成值也阻止了评估器用世界知识回答问题。 ### 3.2 中继协议 跳1接收原始简报,并必须以指定格式重新发出完整的交接信息;跳i>1只接收跳(i-1)的消息。中继温度始终为0.7(在现实采样下重新编码)。在*加工中继*条件下,每跳必须先在`Analysis`标题下回答交接信息中哪个元素最时间敏感及其原因,然后再重新发出交接信息——这增加了真实流水线中特征的每跳认知负荷;分析部分在转发前通过程序化方式剥离,因此只有交接信息传递。 ### 3.3 格式 五种格式规范涵盖了结构谱系:`Free`(自由散文,无约束);`Constr`(自然语言加上精确指令:传达每个事实,保持数字/名称/代码逐字);`Json`(固定六键模式:标题、人员、数量、约束、依赖、禁止);`Triples`(subject||predicate||object行);`Kv`(扁平蛇形键值行)。JSON消息在每跳进行语法检查;无效消息(弱中继下1%,强中继下无)被传递到下游并原样评分,模拟没有验证器的部署流水线。 ### 3.4 测量 QA召回率(主要):固定评估器——温度0的强模型——只读取跳消息并回答JSON格式的十二个封闭形式问题;答案通过程序化方式与真实值进行精确匹配(整个token的数字匹配;是/否归一化)。评估器从未见过真实值或原始简报,评估器解析失败会触发一次重试,否则被排除而非得分为零(所有网格中解析失败率0.0%)。字符串召回率(次要,无判断器):每个事实表面形式的归一化逐字包含度。字符串召回率低估了那些在保持内容的同时合法重新渲染表面形式的格式——在强网格中,六跳QA减字符串差距对于Kv为+8.3个百分点,对于Triples为+4.0个百分点——这就是需要容忍释义的主要度量标准的原因。在弱网格中,对于三种格式,差距符号反转(QA比字符串召回率低33–55个百分点),这与退化消息在保留表面字符串的同时破坏关系是一致的,尽管不能完全排除评估器在退化文本上的损失;因此我们验证了……
相似文章
BOUNDARY_SYNC: 测量多智能体LLM系统中通信引起的表征耦合
本文介绍了Boundary_Sync,一种测量多智能体LLM系统中表征耦合的协议。使用GPT-4o的实验表明,通信在文本和图像两种模态中均导致了显著的同质化,但群体规模调节了方向:较大群体导致同质化,较小群体导致多样化。
延迟验证破坏多智能体LLM信念:不稳定性阈值与最优校正器放置
本文建模了多智能体LLM系统中延迟验证的影响,揭示了延迟校正会破坏共识稳定并引发振荡。它推导出闭式稳定性阈值,并提供了一种用于最优校正器放置的贪心近似算法,在五个开放模型上的实验验证了该结果。
保留什么,遗忘什么:大语言模型与智能体中内存压缩的率失真视角
本文在率失真框架下统一了大语言模型和智能体中的内存压缩技术,提出了一个用于评估不同层压缩的分类法和基准。
面向分布偏移下可靠长周期智能体上下文演化的范围验证
GRACE 使用类型化语义图来表示 LLM 智能体的持久指令,通过对更新进行范围验证,提高了分布偏移下的可靠性。在电信智能体框架上的实验表明,相较于基线方法,严格可靠性有显著提升。
TeamTR:多智能体LLM协调的信任域微调
本文发现共享上下文多智能体LLM团队在顺序微调时存在一种结构性失效模式,并将其形式化为复合占位偏移。为此提出了TeamTR,一种信任域框架,通过重采样轨迹并施加每个智能体的散度控制,实现了平均7.1%的性能提升。