标签
该论文介绍了 ProClaim,一种将结构化证据状态持久保存在模型上下文之外的科学智能体,以及 ProClaim-eval,一个包含 718 条主张的共识验证基准。研究表明,与基线方法和通用智能体框架相比,证据状态和经过训练的停止判定器均能提升共识主张验证的效果。
论文提出 Thinking-in-Bets,一种无需训练的方法,让 LLM 代理在读取用户反馈前先记录已验证的主张与置信度,从而在被挑战时减少错误反转和不必要的修改,同时保持准确性。
该论文在 LLM-AggreFact 的 495 条主张上,评估了非生成式决策模型 Jev 与前沿大语言模型(gpt-6-astra)在 RAG 主张验证任务中的表现,发现两者的总体准确率在统计上无显著差异,成本却相差 187 倍,且错误分布差异很大;研究还表明,基于置信度门控的级联系统可以降低成本,但表现并未优于条件匹配的随机升级对照方案。
本文研究了多模态声明验证模型在面对LLM改写所引起的文本风格变化时的表现。作者对11个开源权重视觉语言模型(2B–38B)进行了评估,发现模型准确率在自然改写和受控的LLM词汇注入下基本保持稳健,但以模糊限定为导向的修改会在几乎所有模型中引起一致的概率偏移。
Peerify 是一个用于自动验证同行评审声明与稿件证据的流程,使用来自 NeurIPS 2024 和 ICLR 2024 的 800 个声明的基准,证明以检索为中心的验证优于蕴含基线。
OmniHallu引入了一个统一的幻觉检测框架,适用于多模态大语言模型,涵盖图像、视频和音频模态的理解与生成任务,并包括一个基准测试和多智能体架构。
CoVer是一个事实裁决框架,用于处理声明验证中的证据层面和聚合层面冲突,在X社区笔记系统的ContraNote数据集上评估表现出色。
CLAIR-Fin 是一种对抗性多智能体框架,旨在通过将问题分解为原子声明,并使用自适应辩论和验证来减少幻觉,从而增强跨模态金融问答的忠实性。
本文介绍了证据账本裁决(evidence-ledger adjudication),一种用于AI辅助写作中主张-证据可追溯性的工作流,并在基于AVeriTeC、CLIMATE-FEVER和SciFact构建的盲测基准上进行了评估,结果表明基于智能体的方法优于基线方法。
本文介绍了论文内声明验证框架,该框架利用大型语言模型评估论文中的创新声明是否得到方法学证据的支持,填补了现有自动化同行评审系统的空白。人工评估表明,该框架与人类评审员的关注点显著一致,特别是在创新相关问题上。
作者发布了ISNAD框架,借鉴约1400年历史的伊斯兰学术验证方法论,为多智能体AI链中的每个传递者打分,以验证AI生成言论的真实性和独立佐证。
本文介绍了Tree of Evidence (ToE),一种利用强化学习动态检索和聚合多源证据的分层可解释声明验证框架。实验表明,与基线相比,性能提升4至24个百分点,尤其是在面对生成引擎优化(GEO)的对抗性投毒输入时。
使用QLoRA对小型LLM(3B-7B)进行生物医学声明验证的微调,以44.5倍更低的成本实现了比GPT-4o和GPT-5更高的F1分数,并揭示了SciFact中的一个结构伪影。该研究表明,在结构合理的数据上进行训练可实现稳健的跨域迁移。
MoCA-Agent是一种声明市场代码智能体,通过将问题分解为原子声明并使用专业智能体买卖这些声明来改进金融和数值推理,在使用固定Qwen 3.6-27B主干的情况下,在多个基准测试中取得了强劲结果。
本文介绍了MAD2,一个用于口语对话中多模态声明验证的新基准,并提出了音频和文本模型的校准融合,利用对话上下文来提高验证准确性。
本文介绍了 PrimeFacts,这是一种利用大语言模型从事实核查文章中提取细粒度证据的方法论与资源。所提取的前提将证据检索和声明验证的性能提高了多达 30%(在 MRR 指标上)以及 10-20 个百分点(在 Macro-F1 指标上)。