标签
该论文提出以“认知谦逊”(Epistemic Humility)评估 LLM 智能体在知识冲突下的表现,通过 Identify、Solve、Escalate 三个轨迹级维度进行衡量,发现高任务准确率并不意味着更高的认知谦逊,且模型级干预往往以牺牲准确率为代价。
本文提出TRACE,这是一个用于检索增强生成(RAG)的微调框架,它使用多智能体辩论轨迹和答案完整性正则化来处理知识冲突,从而提高对误导性上下文的鲁棒性并减少不完整答案。
本文识别了一种故障模式,其中语言模型被CRM记录中激励不一致的证人的断言所说服,导致错误决策,并提出了一种诊断方法来分析此问题。
本文对指令调优下LLM中的知识冲突回路进行了机制性比较,发现调优是门控而非重新布线这些回路,跨越多个模型家族,对可解释性具有影响。
KC-Bench 是一个动态交互式基准,用于评估LLM智能体如何检测和解决用户指令、参数知识与环境观察之间的知识冲突,评估显示没有模型能可靠地处理所有冲突类型。
介绍了SHIFT框架,该框架利用可学习的门控调制自适应地引导大语言模型的内部激活,以不到0.01%的可训练参数缓解检索增强生成中的知识冲突。
该论文将对比解码推广到一种冲突感知范式,该范式在外部上下文和参数先验之间动态分配权威,提出了TriState-Bench评估协议,并引入了自适应机制路由(ARR)来解决修正与抵抗之间的不对称性。
本文提出收敛点理论,该理论通过论证不确定性由人类对某一主题的共识密度决定,统一了各种LLM不确定性现象,并识别出三个区域(完全共识、部分共识和非共识)。该理论对训练过程中对未解决的哲学问题进行强制收敛提出了担忧。
本文提出了一种名为“上下文驱动分解”(CDD)的探针,用于诊断检索增强生成(RAG)系统在面对检索上下文与参数化知识冲突时,是否遵从检索上下文。同时,发布了 Epi-Scale 基准测试,以便在多种模型家族中进行系统性研究。