标签
一位实践者的实验发现:当同一个模型既写代码又写测试时,生成的测试套件有 77% 的概率会误拒一个已知正确的参考解法——即便变异分数很高也是如此;而且完整的 Agent 流水线在相近 token 成本下,表现还不如简单的 pass@k 采样。
本文将多路径 LLM 推理形式化为无线通信中的分集合并问题,分析了路径正确性相关性对多数投票有效样本量的上限,并在 5 个模型和 12 个基准上验证了提示模板分集可降低路径相关性;同时提出了基于四路径试点的 Adaptive-K 规则来选择最优采样数。
本文介绍了一种算法,使得不诚信的LLM提供商能够人为增加推理路径以进行过度收费,同时逃避检测,通过使用Llama和Qwen等模型的实验验证。
本文提出一种LLM-as-a-judge方法,用于测量扰动强度以评估LLM解释的自一致性,结果表明输入扰动通常比CoT扰动对LLM的影响更强。
本文介绍了AI文本生成的推理扩展技术,如温度缩放、top-p过滤和自一致性,旨在通过多样化采样和多数投票将答案准确率提高两倍以上。
本文评估了本地开源权重LLM评判器相对于人类评分的表现,发现其自一致性高但与人类判断的吻合度有限,强调了双重评估的必要性。
本文提出了一种新方法,通过使用神经代理模型和自洽性来求解完整轨迹上的不动点问题,从而模拟耦合动力系统,取代了传统的逐步时间积分。该方法在 van der Pol 振荡器和 Hodgkin–Huxley 神经元网络上进行了演示,突出了效率提升和独特的梯度特性。
本文研究了使用小语言模型进行语法约束文本到SQL任务时模型大小与推理计算之间的权衡,发现Beam Search优于sample+vote,且扩展模型大小通常比扩展推理计算产生更好的结果。
本文研究了基数型LLM偏好判断在多个模型中的自一致性,发现了显著且持续的不一致性,表明它们无法被单一效用函数忠实总结。
本文表明,对于小型指令微调LLM,在GPQA Diamond基准的大多数硬科学问题上,基于多数投票的自洽性(self-consistency)会适得其反,而诸如多数一致性或令牌熵等无验证器门控无法防止这一问题。预注册的验证性实验量化了准确率下降,并表明置信度并不反映正确性。
This position paper argues that many LLM failures stem from evaluating outputs independently and proposes a self-consistency framework that treats diverse techniques as special cases of consistency optimization.
本文介绍了CALVER,一种无需训练的符号验证器,它根据Pearl的因果准则对结构化因果推理轨迹进行评分,以选出最佳候选答案;在存在多个有效答案的因果推理基准上,其表现优于plurality投票和其他选择方法。
本文研究了大语言模型(LLM)中的随机采样(自一致性)能否捕捉类似于多样化集成的跨问题结构。通过使用Marchenko–Pastur检验,作者发现,在单个模型内,随机变异最多产生一个显著维度,而24个模型的集成则产生四个,揭示了限制自一致性作为集成替代方案的维度差距。
本文介绍了SSC-GRPO,一种步级奖励优化方法,通过多次 rollout 中的自一致性分数来减少大语言模型推理中上下文敏感的事实幻觉,在数学推理和幻觉基准测试上达到了最先进的性能。
本文研究了在面向多语言视觉多选题基准EXAMS-V上,针对小规模开放视觉语言模型(参数量≤7B)的测试时扩展技术。研究发现,推理预算和可解析性比复杂的搜索或验证方法更为重要。最佳配置在ImageCLEF 2026测试集上达到84.1%的准确率,在排行榜上排名第一。
本文介绍了GraphEVAL,一个基于图的框架用于量化LLM推理中的不确定性,并提出了一种新的指标——图推理一致性得分(GRCS),该指标捕捉语义-结构共识并检测自信幻觉。作者还提出了图自一致性(GSC),一种优先考虑推理忠实度而非名义准确性的解码策略。
本文研究了在选择性预测中哪些信号最能预测文本转SQL的正确性。研究发现,来自LLM判断器的基于验证的信号优于黑盒统计信号(如自一致性),并且双提供者集成模型实现了0.82的AUROC,同时具有良好校准的概率。
一篇新论文显示,通过自洽性等方法扩展推理计算提高了LLM在数学和代码上的准确性,但在没有外部验证器的领域未能提高真实性,因为模型错误过于相关。
Ali 将 Claude Fable 5 的推理轨迹蒸馏到 Qwen3-4B 中,声称实现了100%的自洽性和零幻觉方差,并将结果开源。
介绍了一种结构化聚合框架SFL-MTSC,该框架利用LLM在语义框架级别的自一致性实现鲁棒的多意图口语理解,在MAC-SLU基准测试上显示出改进的槽位F1得分和整体准确性。