标签
IBM 研究人员将大语言模型的一致性形式化为知识图谱所定义的语义域内的语义不变性,表明不一致现象集中在稳定的热点子图中,并且有选择地、分层地以知识图谱为依据,能够提高跨模型的一致性和可靠性。
FormInv 提出了一种用于评估数学推理基准中语义不变性的测量协议,揭示了模型排名在释义族之间反转,并且标准准确率指标掩盖了语义一致性上的巨大差距。