标签
本文揭示了幻觉检测中的“检测性差距”:幻觉可分为高一致性(Ghost)与低一致性(Flickering)两种模式,二者之间存在 0.35–0.46 的 AUC 差距。该差距在四个模型与三个事实问答数据集上持续存在,即使在固定模式归属并采用更严格的基于轨迹的测试后依然如此。作者指出,聚合层面的检测指标掩盖了模型相关的异质性,并呼吁采用基于模式条件的评估方法。
AfriSyCo 研究AI模型在非洲语言事实内容中的答案切换现象,展示了断言性框架和验证提示如何在不同语言和模型检查点上显著影响准确性。
本文研究了LLM在保持意义不变的改写下答案的变化,发现实例级行为不稳定(翻转率>23%),单提示准确性掩盖了显著的不一致性,而自我改写策略可以部分恢复潜在知识。