标签
CHORD提出了一种跨模型幻觉检测(CMHD)框架,将LLM隐藏状态表示为层级-词元-特征关系图,通过关系感知注意力与元学习获得可迁移到未见目标模型的检测信号,在跨模型泛化上优于现有检测方法。
该论文构建了涵盖五种幻觉类型的二元基准(来自六个数据集的9,852个样本),比较了五种决策模型与生成式裁判GPT-6-sol在幻觉检测上的表现,发现决策模型在部分类型上以1-3%的成本匹敌或超越生成式裁判,但在逻辑与指令不一致类型上仍有差距且概率存在过度自信问题。
提出LOTUS框架,通过低秩多线性分解从LLM隐藏状态中提取紧凑表示以检测幻觉,在多个LLM和问答基准上超越现有最先进方法。
Mycelium 是一项关于大语言模型幻觉检测的元研究,沿来源、类型和粒度三个轴组织现有基准,分析基准构建与评估选择如何影响检测任务,并提出跨度覆盖 F1 作为补充的跨度级评估指标。
提出了一个跨域迁移表示特征的统计框架,用于检测 LLM 的幻觉与推理错误,在新域仅需 25 条标注样本即可将幻觉检测 AUROC 提升 6.8%、推理步骤预测 AUROC 提升 8.4%。
SOPO(苏格拉底式引导策略优化)提出了一种多轮强化学习框架,通过苏格拉底式教师引导反馈和基于轮次的优势缩放来解决文本片段级幻觉检测中的奖励稀疏与长度膨胀问题,在RAGTruth上取得最先进的表现,超越GPT-5等模型,并开源了17亿和40亿参数的模型。
本文提出可见状态监督(Visible-State Supervision,ViSS)与测试时因果视图搜索(Test-Time Causal View Search,TVS),在流式视频理解中将表示学习与证据选择分离开来,以远更少的处理帧数在 StreamingBench 和 OVO-Bench 上达到最先进精度。
一项元研究,将幻觉检测作为一个受基准条件约束的测量问题进行分析,从溯源、类型学和粒度三个维度展开,并提出了一种Span Coverage F1指标,以解决跨级别标注边界不一致带来的变异性问题。
该论文研究在已有输出侧信号的基础上,加入 LLM 隐藏状态对错误检测的增量预测价值,发现其在开放生成和多选任务上分别带来约 0.004 和 0.039 的 AUROC 提升,表明隐藏状态含有额外信息但增益有限。
该论文提出了 SHAM-Bench,一个统一的片段级幻觉检测基准,按照统一的 schema 和评测协议汇总了涵盖六项 NLG 任务的 6,461 条人工标注样本。研究发现,微调的检测器在分布偏移下性能下降,而基于提示的推理方法泛化能力更强。论文同时开放了数据集、代码和公开排行榜。
本文介绍并审计了一个针对 Bengali 幻觉检测挑战赛(Olikbochon)的推理系统,该系统结合响应条件化查询重写、混合检索与任务特化的语言模型裁决,实现了 0.956 的私有宏 F1,同时指出语料重叠与运行不可复现性限制了其泛化性声明。
该论文提出"机制不确定性"概念,通过因果稳健性边际(causal robustness margin)量化大语言模型内部机制的稳定性,在多个开源模型与问答数据集上验证其对幻觉与不确定性检测的补充作用。
该论文研究不确定性度量何时能有效衡量 RAG 幻觉风险,发现当检索证据充分约束答案时,困惑度能达到 0.81–0.91 AUROC,而检索覆盖不足时同一指标会失效,提出不确定性是条件性的幻觉风险度量。
LEMON是一种图神经网络监控器,通过在注意力图上进行等变学习,实现对未见过模型的LLM不良行为零样本检测。在涵盖16个LLM和六个数据集的幻觉与越狱监控任务中,其表现较基线方法最高提升14个ROC-AUC百分点。
本文提出了大语言模型中的机制性不确定性,该概念通过使用概念引导向量测量的因果鲁棒性边界来定义,并表明错误回答对内部干预更为敏感,而学习到的事实则获得了更高的鲁棒性。
该论文提出一种黑盒因果审计方法,通过 CLAP 定位证据区域并用频谱门控进行局部消融,检测大型音频语言模型(LALM)的幻觉,发现音频接地行为具有模型依赖性,且提出的方法在解码时优于现有音频感知解码基线。
HIVE(Hive Inspired Virtual Entity,受蜂巢启发的虚拟实体)是一个开源研究系统,通过九个从不同角度分析问题的 forager agent、一个 queen verdict(蜂后裁决)以及共享记忆(comb),并利用 Unpaywall 与 DOI 检索的已验证白皮书,为 LLM 输出提供可信度置信值,减少幻觉。系统可在本地运行(Ollama + Qwen3.6 35B),在 M1 Max 64GB 上完成设计与测试。
本文提出了一种面向低资源僧伽罗语-英语神经机器翻译的无参考幻觉检测框架,构建了包含45,000个样本的合成腐蚀数据集,并通过对mDeBERTa-v3进行微调,在八个神经机器翻译系统的基准测试中实现了0.841的词元级F1分数。
本文提出了 PARCEL,一个用于检测大语言模型输出中法律幻觉的声明级基准,其包含来自纽约州上诉法院判决的 3,396 条括号式引注声明,并将其构建为三分类自然语言推理任务。最先进的大语言模型在零样本设置下准确率可达 0.97,但仍然会将无依据的声明错误标记为有依据的声明,尤其是在面对虚构但看似合理的引用时尤为明显。
这篇文章将一种零 GPU、纯 CPU 的字符串归一化熵指标(Spanda)与语义熵进行了对比基准测试,覆盖了从 1.5B 到 120B 的本地模型与前沿模型。结果发现,7B 到 27B 的模型使用廉价的精确匹配熵即可获得良好效果,而 120B 的模型则会塌缩为完全相同的自信幻觉——这类幻觉连 NLI(自然语言推理)模型也无法识别。