标签
Omni-Woodpecker提出一种免训练框架,通过证据-先验重平衡来纠正Omni多模态大模型中的跨模态幻觉,在CMM和AVHBench等基准上显著提升性能。
提出SOAR(Source-Aware Reinforcement Learning),通过将外部证据与内部知识解耦为可观测的并行流并引入Source-Consistent Reward,实现搜索代理的精确信用分配;在3B和7B模型上分别提升7.3%和5.4%,并将证据伪造率降低74.8%。
HARPO 是由华为技术有限公司提出的强化学习框架,通过幻觉感知生成奖励模型、选择性激活机制和数据课程,联合优化幻觉抑制与创意写作,在 Qwen 模型上降低幻觉率的同时提升了创意写作质量。
该论文揭示了音频-视觉大语言模型中"源混淆接地幻觉"的内在机制——问题中继(question-relay)会携带干扰模态的线索,并提出训练无关的SECRET方法,在保持生成位置通路的同时将问题状态导向所需的源证据,在CMM和AVHBench基准上相比基线模型最高提升18.0和7.1个百分点。
AFDBench是一个用于评估国家气象服务预报讨论中生成式气象推理的基准,通过强化学习提升LLM在准确性、风格一致性和数据保真度方面的表现。
本综述论文系统回顾了大型语言模型与视觉语言模型的解码方法,聚焦于推理时方法以提升效率和控制生成过程。文中识别了新兴范式,指出了当前挑战,并探讨了未来研究方向。
CLAIR-Fin 是一种对抗性多智能体框架,旨在通过将问题分解为原子声明,并使用自适应辩论和验证来减少幻觉,从而增强跨模态金融问答的忠实性。
本文研究了混合专家(MoE)模型中是否存在层间差异,并提出了EAACD,一种专家感知的自适应对比解码方法,利用高层中的专家激活模式来减少LLMs在问答任务中的幻觉。
本文介绍了SSC-GRPO,一种步级奖励优化方法,通过多次 rollout 中的自一致性分数来减少大语言模型推理中上下文敏感的事实幻觉,在数学推理和幻觉基准测试上达到了最先进的性能。
Hallo4D是一个模型无关框架,利用大型多模态语言模型检测和纠正3D与4D生成中的空间和时间幻觉,在无需重新训练的情况下改善跨视角和时间的一致性。
本文提出VaseMuseum,一个轻量级多模态智能体框架,将3D数字化与视觉语言模型相结合,为古希腊陶器创建交互式数字博物馆,通过源级和响应级可靠性控制解决证据基础与幻觉问题。
本文研究了一种轻量级的基于提示的恢复方法,用于后端数据库调用失败时的LLM对话代理,表明Guided-Retry策略在六个模型家族上,将MultiWOZ的幻觉降低了50%,SGD降低了42%。
本文揭示了大视觉语言模型中的幻觉是由一种动态结构错位引起的,其中某些注意力头充当风险中介,与视觉证据解耦,转而锁定语言先验。作者提出了Fox,一种无需训练的因果干预框架,能够诊断并物理切断这些病态捷径,在忠实解码中实现了最先进的性能。
CaVe-VLM-CoT是一个基于模块化反思的智能体RAG框架,专为视觉-语言模型设计,通过五阶段流水线强制执行基于证据的推理,在ScienceQA上达到87.1%的准确率,并提出了一套包含23项指标的评估体系。
介绍了MODE-RAG,一个多智能体系统,利用变分自由能和蒙特卡洛树搜索动态门控干预,以减轻多模态检索增强生成系统中的幻觉,同时提供了ModeVent评估数据集。
本文提出了一种多智能体‘信任但验证’系统,旨在减少大语言模型中的医疗幻觉。该系统在关于违禁药物的临床问题上测试了三种开放获取模型,实现了53%的幻觉错误率降低。
讨论优化DiffusionGemma推理、减少幻觉以及提高工具使用和代理性能的多种方法,包括熵约束采样、模式脚手架和去噪期间的检索。
本文提出NTS-CoT,一种使用思维链推理来减轻基于LLM的新闻时间线摘要中幻觉的新框架。它引入了三个模块——Element-CoT、Date Selection和Causal-CoT——以提高忠实度并减少遗漏,在三个基准测试上优于最先进的基线模型。
本文介绍了MGAP,一种无需训练的解码方法,通过自适应地仅抑制语言先验中的有害部分,同时保留模型的语义流形,从而减少多模态大语言模型中的幻觉。该方法在POPE和CHAIR基准测试上优于先前的基线方法。
本文展示了Whisper在面对静音、噪声或音乐时产生的幻觉故障,可以完全通过内部激活和稀疏自编码器来检测和缓解,无需微调即可大幅降低幻觉率。