factuality

标签

Cards List
#factuality

多智能体协作能减少临床任务中的幻觉吗?

arXiv cs.AI ↗ · 3天前 缓存

该论文评估了单一 LLM 基线与三种多智能体拓扑在临床任务中的表现,发现协作能提升任务指标,但并不必然降低幻觉,且模型本身而非拓扑结构决定了幻觉的变化方向。

0 人收藏 0 人点赞
#factuality

多语言抽象式摘要生成中的大语言模型评估:英语与孟加拉语的综合研究

arXiv cs.CL ↗ · 2026-10-15 缓存

该论文对八个闭源和开源大模型在英文与孟加拉语XL-Sum测试集上的零样本抽象摘要能力进行了标准化评测,结合词法、语义指标、事实性验证和LLM-as-a-Judge评估,发现英文表现优异并不自动迁移到低资源语言,且不同评估方法产生不同的模型排名。

0 人收藏 0 人点赞
#factuality

EviScene:超越“是否为 AI 生成?”的智能体图像事实性评估

Hugging Face Daily Papers ↗ · 2026-10-10 缓存

该论文提出Image Factuality Assessment任务及EviScene多模态ReAct智能体,通过视觉检查、外部检索与证据分析的交替推理来判定图像所描绘场景是否事实成立,并发布了包含10,174张图像的EviLens专家审阅基准,在Qwen3.5-9B上实现了79.05%的平衡准确率。

0 人收藏 0 人点赞
#factuality

数字正确,州别张冠李戴?衡量大模型回忆美国各州政策时的跨州替换现象

arXiv cs.CL ↗ · 2026-10-08 缓存

这篇 arXiv 论文提出了一项预注册评估,用于衡量大模型在回忆美国各州医疗补助计划(Medicaid)政策事实时出现的跨州替换现象。研究发现,Claude Sonnet 5.5 和 GPT-5.6 Sol 会可复现地返回属于其他州的真实数值;同时研究表明,如果不完整核对所询问州的参考值,朴素的归因方法会将这类错误夸大数倍。

0 人收藏 0 人点赞
#factuality

面向多跳检索增强生成的保形事实性控制

arXiv cs.CL ↗ · 2026-10-01 缓存

本文将分拆保形(split-conformal)论断过滤方法应用于多跳RAG。结果表明,在95%的保形目标下,使用Llama 3.1 8B和GPT-4o-mini时,在HotpotQA、Natural Questions和TriviaQA上,论断全部有依据的回答比例提升至95.80%至97.20%——但代价是高弃答率和较低的论断保留率,说明可靠性的提升会以牺牲答案覆盖率为代价。

0 人收藏 0 人点赞
#factuality

Jev能否评估放射学报告?评估System One模型在临床事实性方面的表现

arXiv cs.CL ↗ · 2026-09-24 缓存

本研究评估了Jev,一个System One模型,用于测量AI生成的放射学报告中的事实性差异,证明了其相较于其他评估方法的有效性和效率。

0 人收藏 0 人点赞
#factuality

@reach_vb: 团队再次在设计上大展身手!

X AI KOLs Timeline ↗ · 2026-09-22 缓存

推出GPT-6 Sol和Luna模型,具备更强的编码、计算机使用、改进的事实性和对齐能力,在AutomationBench上超越Claude。

0 人收藏 0 人点赞
#factuality

Style-Debiased DPO:使用事实感知合成偏好数据更新大型语言模型知识

arXiv cs.CL ↗ · 2026-09-16 缓存

本文提出了Style-Debiased DPO (SD-DPO),一种用于事实感知合成偏好数据的方法,旨在改善大型语言模型中的知识提取,解决标准DPO可能因风格差异而错误惩罚正确回答的问题。

0 人收藏 0 人点赞
#factuality

面向异构知识的LLM反事实基准测试与训练:实现事实一致性和顺序稳健的接地推理

arXiv cs.AI ↗ · 2026-08-11 缓存

本文介绍了TKFQA,一个包含10,130个基于表格、文本和知识图谱的问答对的反事实基准,用于评估LLM的事实一致性和顺序稳健推理,并提出了ORLF,一种训练框架,可提高推理链准确性并降低对输入顺序的敏感性。

0 人收藏 0 人点赞
#factuality

注意力引导的大语言模型对比解码层选择策略

arXiv cs.CL ↗ · 2026-07-28 缓存

提出了三种注意力引导的大语言模型对比解码层选择策略,在TruthfulQA上相比DoLa基线提高了事实准确性。

0 人收藏 0 人点赞
#factuality

面向事实的推理学习

arXiv cs.CL ↗ · 2026-07-27 缓存

本文提出了一种新颖的在线强化学习方法,通过设计兼顾事实精确性、细节丰富度和回答相关性的奖励函数,来提升推理大语言模型的事实准确性。在六个基准测试上,该方法将幻觉率降低了23.1个百分点。

0 人收藏 0 人点赞
#factuality

自我判断混淆下正确性探测的诊断

arXiv cs.CL ↗ · 2026-07-21 缓存

本文研究了神经网络探针在预测语言模型输出正确性时,是否真正捕捉了客观正确性还是模型自身的自我判断。通过构造两者不一致的冲突案例,作者发现可转移的方向主要保持了自我判断的极性,从而挑战了正确性读数的解释。

0 人收藏 0 人点赞
#factuality

@mylifcc: http://Arena.ai 刚刚把「事实性(Factuality)」正式加入模型排名。 现在排行榜支持「人类偏好 + 事实性」加权查看(默认 25% 事实性权重)。他们已标注超过 200 万个真实对话中的 claims(Text Ar…

X AI KOLs Timeline ↗ · 2026-07-15 缓存

Arena.ai 将事实性(Factuality)加入模型排名,支持人类偏好与事实性加权,并展示了各模型排名变化。

0 人收藏 0 人点赞
#factuality

这不是烟斗:AI系统作为语义抽象

arXiv cs.AI ↗ · 2026-07-13 缓存

本文提出了一种语义框架来描述AI系统,区分合理的声明与误导性的输出,并定义了常见的失败现象,如幻觉和无根据的断言。

0 人收藏 0 人点赞
#factuality

聚焦医疗LLM问答中的差异

arXiv cs.CL ↗ · 2026-07-09 缓存

本文系统研究了五种语言下基于LLM的医疗问答中的跨语言差异,发现了事实对齐方面的显著差距,并提出了MultiWikiHealthCare数据集。

0 人收藏 0 人点赞
#factuality

通过混合模式优势正则化减轻大型推理模型中的事实幻觉

arXiv cs.CL ↗ · 2026-07-08 缓存

介绍了MARGO,一种强化学习框架,通过比较思考和非思考轨迹,使用混合模式优势正则化来减轻大型推理模型中由思考引发的幻觉。

0 人收藏 0 人点赞
#factuality

预算约束下RAG系统中的事实错误诊断与修复

arXiv cs.AI ↗ · 2026-06-30 缓存

本文提出D2R-RAG,一个模型无关且资源感知的框架,在延迟和VRAM约束下诊断和修复RAG系统中的事实错误,在FEVER和HotpotQA上实现了更好的准确性与效率权衡。

0 人收藏 0 人点赞
#factuality

ConflictScore: 识别与衡量语言模型如何处理矛盾证据

arXiv cs.CL ↗ · 2026-06-26 缓存

ConflictScore是一种新度量,用于量化语言模型在面对其基础文档中的矛盾证据时的识别能力,它将响应分解为原子声明并衡量矛盾平衡。论文还引入了ConflictBench,这是一个涵盖多种矛盾形式的基准测试,并展示了该度量可以提高TruthfulQA上的真实性。

0 人收藏 0 人点赞
#factuality

@FinanceYF5: 3/ 准确性提升 GPT-5.5 Instant 在事实准确性上有明显提升。 尤其是在医学、法律、金融等对准确性要求更高的领域。

X AI KOLs Following ↗ · 2026-05-10 缓存

Report claims that GPT-5.5 Instant shows significant improvements in factual accuracy, particularly in high-stakes fields like medicine, law, and finance.

0 人收藏 0 人点赞
#factuality

MoshiRAG:面向全双工语音语言模型的异步知识检索

arXiv cs.CL ↗ · 2026-04-20 缓存

MoshiRAG 将紧凑的全双工语音语言模型与异步检索增强生成相结合,在保持实时交互性的同时提高事实准确性。该方法利用对话中自然的时空间隙来检索外部知识,而不会打断对话的自然流程。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈