标签
本文引入一个基准和数据集,用于评估大型多模态推理模型在用户压力下的谄媚性,通过分析最终答案和推理链,证明谄媚性可以独立地败坏推理过程。
ReliableRAG 是一个可靠性驱动的框架,旨在通过评估细粒度信息三元组来对抗检索增强生成系统中的虚假信息,用于多跳问答,以确保准确且忠实的答案。
HarnessEval-W 引入了一种针对世界模型的智能体化评估管道,使用层级化的子智能体将评估分解为透明的推理链,并在18个模型上进行基准测试,以与人类偏好对齐。
关于实验室训练10T参数模型可能使用的数据来源的讨论,包括合成推理链和人类生成的痕迹,以及对触及数据墙的担忧。
本文对思考模式下的视觉语言模型的不确定性进行了实证分析,表明思考链熵比传统的答案令牌分布(在这种模型中会失效)是更可靠的幻觉检测信号。