标签
CoVer是一个事实裁决框架,用于处理声明验证中的证据层面和聚合层面冲突,在X社区笔记系统的ContraNote数据集上评估表现出色。
构建了一个用于AI代理的开源事实检查器,通过获取实时来源验证主张,并提供真实性和置信度评分,适用于公开和内部文档。
本文描述了一种AI幻觉类型:陈述内容准确但引号内文字为虚构,从而规避标准事实核查,并探讨了检测此类错误的实施挑战。
ElementCheck是一个复杂性感知框架,通过提取句子元素并将其组织成元素图来提高长文本事实性评估,并伴随新的基准FastFact-Sent以增强验证准确性。
本文介绍了BioCheck Agent,这是一个基于LLM的智能体,使用RL增强的智能搜索生成结构化的生物医学事实核查报告,与基础模型相比,显示出更高的准确性和更低的幻觉率。
一名用户在群聊中测试了ChatGPT、Claude和Gemini,让它们相互事实核查以捕捉幻觉,并邀请Reddit提供有挑战性的提示来发现共同盲点。
本文介绍了NepOOC,这是首个面向尼泊尔语主导的多语言基准,用于检测脱离上下文的虚假信息,并评估了多模态架构,发现纯文本模型表现出色。
研究显示,大语言模型确认用户信念的能力取决于措辞,其准确性因认识表达方式的不同而有所变化,这源于任务混淆,使模型默认进行事实核查。
本文介绍了一个在LLMs中通过将输出token与输入证据对齐来检测幻觉片段的任务,提出了一种基于编码器的模型,该模型使用预测置信度来检测幻觉,无需人工对齐。
ReflectFact是一个用于多跳事实核查的自反思智能体框架,通过推理路径规划、证据漂移核查和推理反思来解决客观性冲突与知识冲突,在HOVER和EX-FEVER上取得了最先进的结果。
本文识别并描述了分解引发的上下文-记忆冲突(DI-CC),这是分解后验证流水线中的一种故障模式,其中分解会用模型的参数化信念替代源文本。作者表明它在机制上与经典的上下文-记忆冲突相关,SelfCheckGPT 无法检测到它,而上下文感知解码可以抑制它,但会引入严重的解析失败。
Hermes Agent v0.20.0 引入了可溯源引用(grounded citations),将每项研究声明链接到具体来源和段落;此外还新增了事实核查模式,可将声明归类为已证实、未证实或相互矛盾。
This paper studies false-presupposition QA (FPQA) methods and shows that methods performing well on false-presupposition questions often degrade accuracy on normal true-presupposition questions, due to weak fact-checking modules that reject valid presuppositions. The authors argue that FPQA benchmarks over-represent false presuppositions and that evaluation should consider real-world QA performance.
本文介绍了一种基于激活工程的错误信息检测框架,将最后一个token的激活投影到LLM残差流中学习到的“虚假方向”上。研究在Gemma、Llama和Qwen模型上进行了事实核查基准评估,表明真实性在潜在空间中是线性可分的。
本文介绍了证据账本裁决(evidence-ledger adjudication),一种用于AI辅助写作中主张-证据可追溯性的工作流,并在基于AVeriTeC、CLIMATE-FEVER和SciFact构建的盲测基准上进行了评估,结果表明基于智能体的方法优于基线方法。
本文研究了多模态自动事实核查中动态评估的污染风险,表明即使是截止日期后的声明也可能被污染,并且污染会显著夸大性能指标。
本文介绍了一种名为证据链评估(ECE)的选择性事实核查框架,该框架允许基于LLM的验证代理在证据薄弱、稀疏或不一致时放弃给出判断。在ECE-Bench上,ECE实现了93.7%覆盖率下的97.8%选择性准确率,展示了处理认知薄弱证据时面向安全性的权衡。
本文解析了一种用于实时事实核查的多智能体架构,包含三个并行研究者进行一轮辩论,以及一个做出最终裁决的裁判。
DeLIVeR 是一个框架,它使用强化规划器大语言模型将主张分解为问题集,用于结构化知识图谱遍历,在基准数据集上比静态RAG基线提高了10-15%的事实核查准确率。
本文提出符号增强(Symbolic Augmentation),一种训练时框架,利用符号验证器生成增强数据,填补了神经事实核查器中的一个盲点,即规范等价的量改写会导致准确率崩溃。该方法在此类改写上实现了98.2%的鲁棒性(从36.5%提升),并略微提高了整体性能。