self-consistency

标签

Cards List
#self-consistency

让同一个模型既写测试又写代码。测试以 77% 的比例误拒了一个已知正确的解法

Reddit r/AI_Agents ↗ · 2026-10-04

一位实践者的实验发现:当同一个模型既写代码又写测试时,生成的测试套件有 77% 的概率会误拒一个已知正确的参考解法——即便变异分数很高也是如此;而且完整的 Agent 流水线在相近 token 成本下,表现还不如简单的 pass@k 采样。

0 人收藏 0 人点赞
#self-consistency

面向多路径 LLM 推理的分集合并方法

arXiv cs.AI ↗ · 2026-10-01 缓存

本文将多路径 LLM 推理形式化为无线通信中的分集合并问题,分析了路径正确性相关性对多数投票有效样本量的上限,并在 5 个模型和 12 个基准上验证了提示模板分集可降低路径相关性;同时提出了基于四路径试点的 Adaptive-K 规则来选择最优采样数。

0 人收藏 0 人点赞
#self-consistency

策略性自一致性

arXiv cs.LG ↗ · 2026-09-29 缓存

本文介绍了一种算法,使得不诚信的LLM提供商能够人为增加推理路径以进行过度收费,同时逃避检测,通过使用Llama和Qwen等模型的实验验证。

0 人收藏 0 人点赞
#self-consistency

利用扰动强度增强对LLM解释自一致性的评估

arXiv cs.CL ↗ · 2026-09-28 缓存

本文提出一种LLM-as-a-judge方法,用于测量扰动强度以评估LLM解释的自一致性,结果表明输入扰动通常比CoT扰动对LLM的影响更强。

0 人收藏 0 人点赞
#self-consistency

@rasbt: 推理扩展第1部分。从改进的文本生成函数开始(温度缩放、top-p过滤、多项式……

X AI KOLs Timeline ↗ · 2026-09-19 缓存

本文介绍了AI文本生成的推理扩展技术,如温度缩放、top-p过滤和自一致性,旨在通过多样化采样和多数投票将答案准确率提高两倍以上。

0 人收藏 0 人点赞
#self-consistency

一致性≠可靠性:评估本地LLM评判器与人类评分

arXiv cs.CL ↗ · 2026-09-15 缓存

本文评估了本地开源权重LLM评判器相对于人类评分的表现,发现其自一致性高但与人类判断的吻合度有限,强调了双重评估的必要性。

0 人收藏 0 人点赞
#self-consistency

无时间步的时间:通过自洽性模拟耦合动力系统

arXiv cs.LG ↗ · 2026-09-04 缓存

本文提出了一种新方法,通过使用神经代理模型和自洽性来求解完整轨迹上的不动点问题,从而模拟耦合动力系统,取代了传统的逐步时间积分。该方法在 van der Pol 振荡器和 Hodgkin–Huxley 神经元网络上进行了演示,突出了效率提升和独特的梯度特性。

0 人收藏 0 人点赞
#self-consistency

Beam Search、自一致性与小语言模型中语法约束文本到SQL的推理时间扩展极限

arXiv cs.CL ↗ · 2026-08-27 缓存

本文研究了使用小语言模型进行语法约束文本到SQL任务时模型大小与推理计算之间的权衡,发现Beam Search优于sample+vote,且扩展模型大小通常比扩展推理计算产生更好的结果。

0 人收藏 0 人点赞
#self-consistency

基于LLM的偏好判断缺乏自一致性

arXiv cs.AI ↗ · 2026-08-19 缓存

本文研究了基数型LLM偏好判断在多个模型中的自一致性,发现了显著且持续的不一致性,表明它们无法被单一效用函数忠实总结。

0 人收藏 0 人点赞
#self-consistency

当自洽性适得其反:多数投票在小型LLM的大多数硬科学问题上反而有害

arXiv cs.AI ↗ · 2026-08-13 缓存

本文表明,对于小型指令微调LLM,在GPQA Diamond基准的大多数硬科学问题上,基于多数投票的自洽性(self-consistency)会适得其反,而诸如多数一致性或令牌熵等无验证器门控无法防止这一问题。预注册的验证性实验量化了准确率下降,并表明置信度并不反映正确性。

0 人收藏 0 人点赞
#self-consistency

Position: It's Time to Optimize LLMs for Self-Consistency

arXiv cs.CL ↗ · 2026-08-07 缓存

This position paper argues that many LLM failures stem from evaluating outputs independently and proposes a self-consistency framework that treats diverse techniques as special cases of consistency optimization.

0 人收藏 0 人点赞
#self-consistency

当多个答案都有效时,投票会失效:面向LLM的Best-of-K因果推理符号验证

Hugging Face Daily Papers ↗ · 2026-08-04 缓存

本文介绍了CALVER,一种无需训练的符号验证器,它根据Pearl的因果准则对结构化因果推理轨迹进行评分,以选出最佳候选答案;在存在多个有效答案的因果推理基准上,其表现优于plurality投票和其他选择方法。

0 人收藏 0 人点赞
#self-consistency

随机采样在认知上是浅层的:大语言模型中温度变化与模型多样性之间的维度差距

arXiv cs.AI ↗ · 2026-07-24 缓存

本文研究了大语言模型(LLM)中的随机采样(自一致性)能否捕捉类似于多样化集成的跨问题结构。通过使用Marchenko–Pastur检验,作者发现,在单个模型内,随机变异最多产生一个显著维度,而24个模型的集成则产生四个,揭示了限制自一致性作为集成替代方案的维度差距。

0 人收藏 0 人点赞
#self-consistency

已知事实导致的推理错误:Step-Level Self-Consistency Group Relative Policy Optimization for LLM

arXiv cs.CL ↗ · 2026-07-22 缓存

本文介绍了SSC-GRPO,一种步级奖励优化方法,通过多次 rollout 中的自一致性分数来减少大语言模型推理中上下文敏感的事实幻觉,在数学推理和幻觉基准测试上达到了最先进的性能。

0 人收藏 0 人点赞
#self-consistency

小型视觉语言模型在多语言视觉多选题上的测试时扩展

arXiv cs.CL ↗ · 2026-07-13 缓存

本文研究了在面向多语言视觉多选题基准EXAMS-V上,针对小规模开放视觉语言模型(参数量≤7B)的测试时扩展技术。研究发现,推理预算和可解析性比复杂的搜索或验证方法更为重要。最佳配置在ImageCLEF 2026测试集上达到84.1%的准确率,在排行榜上排名第一。

0 人收藏 0 人点赞
#self-consistency

我们能否信任LLM的逻辑?通过基于图的框架量化不确定性、一致性和稳健性

arXiv cs.CL ↗ · 2026-07-10 缓存

本文介绍了GraphEVAL,一个基于图的框架用于量化LLM推理中的不确定性,并提出了一种新的指标——图推理一致性得分(GRCS),该指标捕捉语义-结构共识并检测自信幻觉。作者还提出了图自一致性(GSC),一种优先考虑推理忠实度而非名义准确性的解码策略。

0 人收藏 0 人点赞
#self-consistency

文本到SQL正确性的预测因素:一项选择性预测研究

arXiv cs.LG ↗ · 2026-07-09 缓存

本文研究了在选择性预测中哪些信号最能预测文本转SQL的正确性。研究发现,来自LLM判断器的基于验证的信号优于黑盒统计信号(如自一致性),并且双提供者集成模型实现了0.82的AUROC,同时具有良好校准的概率。

0 人收藏 0 人点赞
#self-consistency

@jchudnov: Pass@k 和自洽性在数学和代码上效果很好;多采样并验证。于是我们问:同样的技巧能否扩展……

X AI KOLs Following ↗ · 2026-07-05 缓存

一篇新论文显示,通过自洽性等方法扩展推理计算提高了LLM在数学和代码上的准确性,但在没有外部验证器的领域未能提高真实性,因为模型错误过于相关。

0 人收藏 0 人点赞
#self-consistency

@charles_irl: kino

X AI KOLs Timeline ↗ · 2026-07-04 缓存

Ali 将 Claude Fable 5 的推理轨迹蒸馏到 Qwen3-4B 中,声称实现了100%的自洽性和零幻觉方差,并将结果开源。

0 人收藏 0 人点赞
#self-consistency

SFL-MTSC:利用语义框架级多任务自一致性实现鲁棒的多意图口语理解

arXiv cs.CL ↗ · 2026-06-25 缓存

介绍了一种结构化聚合框架SFL-MTSC,该框架利用LLM在语义框架级别的自一致性实现鲁棒的多意图口语理解,在MAC-SLU基准测试上显示出改进的槽位F1得分和整体准确性。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈