为何自我纠正循环会降低大语言模型流水线的一致性（从85%降至62%）
摘要
在用于结构化数据提取的大语言模型流水线中添加自我纠正循环，导致一致性从85%下降到62%，原因在于复合噪声和再生漂移。文章探讨了潜在的解决方案，如细粒度差异机制或确定性门控。
相似文章
LLM代理的一致性如何？在多步骤工具调用流程中测量行为可重现性
本文系统性地测量了LLM代理在多步骤工具调用流程中的行为可重现性，涉及1140条轨迹，发现了'结构一致性，参数变异性'的模式：代理可靠地按相同顺序选择工具，但参数有所不同，并且结构一致性能够预测任务的成功。
When the Judge Should Not Decide: Evidence-Locked, Non-Compensatory Selection Bounds LLM-Judge Failure in Reasoning Pipelines
This paper shows that LLM judges embedded in reasoning pipelines often make poor decisions, and proposes Evidence-Locked Derive–Gate–Repair (EL-DGR) to constrain judge overrides with evidence certificates, improving accuracy over majority vote and first-candidate baselines.
大模型何时应信任自己的修改？一项关于内在自我纠正的风险感知研究
这篇 arXiv 论文在 BoolQ、GSM8K 和 Corr2Cause 三个基准上，对 29 个开源权重 LLM 的内在自我纠正能力进行了研究，发现修改可能会将原本正确的答案翻转为错误，并指出自我纠正应当被视为一种选择性的修改策略，而非普遍有益的第二轮处理。
受控降解下的证据状态可靠性：多阶段LLM流水线中的解析器有效性偏离
本文引入证据状态可靠性（ESR）作为多阶段LLM流水线的评估层，表明在受控降解下，结构符合性可能提高，而证据敏感的阶段成功率则下降。
在生产Text-to-SQL流水线中审计和修复LLM-as-Judge失败问题
本文审计了生产环境Text-to-SQL流水线中LLM-as-Judge的表现，发现其与人工标注者的一致性较差，并提出使用自托管的Qwen模型和集成方法进行修复，以提高可靠性并降低成本。