标签
B-CARE 是一种预测盲框架,采用固定的 LLM 验证器为各类别分配证据分数,对可能出错的立场预测进行排序。该方法在 12 种数据集-模型组合设置中平均 AUROC 达到 0.735,并在风险最高的前 20% 预测中捕获了 41% 的错误。
该论文研究在已有输出侧信号的基础上,加入 LLM 隐藏状态对错误检测的增量预测价值,发现其在开放生成和多选任务上分别带来约 0.004 和 0.039 的 AUROC 提升,表明隐藏状态含有额外信息但增益有限。
该论文提出两阶段诊断评估方法,检验以图结构表示的LLM推理链的结构可靠性,发现图的可靠性随拓扑、提示设计和模型族而变化,且图结构对不确定性估计的校准和节点级诊断有帮助,但作为提示上下文时收益有限。
提出Uncertainty-Aware Allocation (UAA)框架,通过兄弟节点语义分散度估计不确定性来动态分配LLM树搜索的每步扩展预算,在保持精度的同时将token使用量减少最多90%、延迟降低最多9倍,且可跨四种树搜索算法和开源/闭源模型泛化。
该论文研究不确定性度量何时能有效衡量 RAG 幻觉风险,发现当检索证据充分约束答案时,困惑度能达到 0.81–0.91 AUROC,而检索覆盖不足时同一指标会失效,提出不确定性是条件性的幻觉风险度量。
该论文提出 Control-TS,通过残差控制将预测分位数作为分布控制信号引入预训练扩散预测模型,并提出 CLPS 指标评估生成未来轨迹的下游预测效用,在八个基准上一致提升 CRPS 表现。
该论文首次在黑盒设定下研究 AMR 解析器输出的不确定性估计,利用束搜索排名前 k 的候选结果之间的成对相似度评估可靠性,并通过预测拒绝比率分析解析性能与不确定性的关系,识别出性能与可靠性平衡最佳的解析器。
本文提出 RL-ARC,一个校准感知的训练框架,通过联合利用推理置信度与答案置信度来校准大型推理模型,缓解 RLVR 训练导致的过度自信问题,并在 ID 和 OOD 设置下提升校准表现而不显著牺牲推理性能。
提出了 ELF-BO 算法,利用目标函数评估的等待时间提前从超参数后验中采样,仅在观测到目标值后重新加权,从而以标准 BO 的决策延迟实现完全贝叶斯优化。在合成函数和真实应用中,ELF-BO 匹配完全贝叶斯方法的性能且延迟更低。
Jefferson Lab 和 PNNL 的研究人员将高斯过程代理模型与强化学习相结合,实现动态极化靶微波频率调谐的自动化,报告显示其性能较资深操作员的操作提升近 2 倍。
本文提出了一种预测性维护框架,通过深度学习和不确定性估计来改进半导体制造中剩余使用寿命的估计,以降低维护成本。
一项系统性的基准测试研究,对多模态大语言模型的免训练不确定性量化策略进行评测,将方法分为基于令牌级、语言化和语义的方法,并发现最佳策略取决于响应长度。
本文评估了小型语言模型中基于熵的置信度信号,发现 semantic entropy 提供了一种可行的方法,通过选择性地路由到更大的模型,可将准确性提高多达50个百分点。
本文提出了一种基于注意力分散的无监督指标,用于检测大型语言模型中的幻觉,在使用Qwen2.5模型家族的数学推理基准测试中显示出显著的AUC提升。
介绍了卡尔曼增量网络,该网络通过将线性注意力重新表述为带有卡尔曼滤波更新的线性高斯状态空间模型来改进语言建模,以追踪记忆不确定性,从而产生比现有线性注意力模型性能更优的高效近似。
本文提出通过结合语义熵和令牌级不确定性信号来检测黑盒LLMs中的幻觉的方法,评估了TopK、CoCoA、Gated和Stacked等技术在多个基准测试中的表现,发现没有单一方法普遍最强,但Stacked通常表现最佳。
本文提出疾病连续谱定位(DCP),一个纵向贝叶斯学习框架,可连续估计阿尔茨海默病的严重程度,并提供不确定性感知的疾病进展预测评分。
本文提出一种统计模型,用于高效估计文本生成中的不确定性动态,平滑嘈杂的重采样数据,以在保持LLM推理链分析准确性的同时显著降低计算成本。
本文研究了领域偏移下金融命名实体识别的置信度估计和选择性预测,评估了BERT和LoRA微调的Qwen模型,以提高在不同输入分布(如SEC文件和社交媒体)下的可靠性。
本文提出H2EDL,一种用于层次分类的超证据深度学习模型,它能捕捉标签层次结构中多层次的不确定性,减少校准误差,并在细粒度识别任务中提高粗粒度类别的保留率。