标签
该论文评估了单一 LLM 基线与三种多智能体拓扑在临床任务中的表现,发现协作能提升任务指标,但并不必然降低幻觉,且模型本身而非拓扑结构决定了幻觉的变化方向。
该论文对八个闭源和开源大模型在英文与孟加拉语XL-Sum测试集上的零样本抽象摘要能力进行了标准化评测,结合词法、语义指标、事实性验证和LLM-as-a-Judge评估,发现英文表现优异并不自动迁移到低资源语言,且不同评估方法产生不同的模型排名。
该论文提出Image Factuality Assessment任务及EviScene多模态ReAct智能体,通过视觉检查、外部检索与证据分析的交替推理来判定图像所描绘场景是否事实成立,并发布了包含10,174张图像的EviLens专家审阅基准,在Qwen3.5-9B上实现了79.05%的平衡准确率。
这篇 arXiv 论文提出了一项预注册评估,用于衡量大模型在回忆美国各州医疗补助计划(Medicaid)政策事实时出现的跨州替换现象。研究发现,Claude Sonnet 5.5 和 GPT-5.6 Sol 会可复现地返回属于其他州的真实数值;同时研究表明,如果不完整核对所询问州的参考值,朴素的归因方法会将这类错误夸大数倍。
本文将分拆保形(split-conformal)论断过滤方法应用于多跳RAG。结果表明,在95%的保形目标下,使用Llama 3.1 8B和GPT-4o-mini时,在HotpotQA、Natural Questions和TriviaQA上,论断全部有依据的回答比例提升至95.80%至97.20%——但代价是高弃答率和较低的论断保留率,说明可靠性的提升会以牺牲答案覆盖率为代价。
本研究评估了Jev,一个System One模型,用于测量AI生成的放射学报告中的事实性差异,证明了其相较于其他评估方法的有效性和效率。
推出GPT-6 Sol和Luna模型,具备更强的编码、计算机使用、改进的事实性和对齐能力,在AutomationBench上超越Claude。
本文提出了Style-Debiased DPO (SD-DPO),一种用于事实感知合成偏好数据的方法,旨在改善大型语言模型中的知识提取,解决标准DPO可能因风格差异而错误惩罚正确回答的问题。
本文介绍了TKFQA,一个包含10,130个基于表格、文本和知识图谱的问答对的反事实基准,用于评估LLM的事实一致性和顺序稳健推理,并提出了ORLF,一种训练框架,可提高推理链准确性并降低对输入顺序的敏感性。
提出了三种注意力引导的大语言模型对比解码层选择策略,在TruthfulQA上相比DoLa基线提高了事实准确性。
本文提出了一种新颖的在线强化学习方法,通过设计兼顾事实精确性、细节丰富度和回答相关性的奖励函数,来提升推理大语言模型的事实准确性。在六个基准测试上,该方法将幻觉率降低了23.1个百分点。
本文研究了神经网络探针在预测语言模型输出正确性时,是否真正捕捉了客观正确性还是模型自身的自我判断。通过构造两者不一致的冲突案例,作者发现可转移的方向主要保持了自我判断的极性,从而挑战了正确性读数的解释。
Arena.ai 将事实性(Factuality)加入模型排名,支持人类偏好与事实性加权,并展示了各模型排名变化。
本文系统研究了五种语言下基于LLM的医疗问答中的跨语言差异,发现了事实对齐方面的显著差距,并提出了MultiWikiHealthCare数据集。
介绍了MARGO,一种强化学习框架,通过比较思考和非思考轨迹,使用混合模式优势正则化来减轻大型推理模型中由思考引发的幻觉。
本文提出D2R-RAG,一个模型无关且资源感知的框架,在延迟和VRAM约束下诊断和修复RAG系统中的事实错误,在FEVER和HotpotQA上实现了更好的准确性与效率权衡。
ConflictScore是一种新度量,用于量化语言模型在面对其基础文档中的矛盾证据时的识别能力,它将响应分解为原子声明并衡量矛盾平衡。论文还引入了ConflictBench,这是一个涵盖多种矛盾形式的基准测试,并展示了该度量可以提高TruthfulQA上的真实性。
Report claims that GPT-5.5 Instant shows significant improvements in factual accuracy, particularly in high-stakes fields like medicine, law, and finance.
MoshiRAG 将紧凑的全双工语音语言模型与异步检索增强生成相结合,在保持实时交互性的同时提高事实准确性。该方法利用对话中自然的时空间隙来检索外部知识,而不会打断对话的自然流程。