标签
TokenMem通过专用的交叉注意力通道向冻结的大语言模型注入知识,训练一个轻量的门控适配器(两阶段课程),以提升在反事实知识下的知识合规性,在反事实基准上实现了69-70%的知识合规率(KC),而传统RAG仅为20-52%。
介绍C-VCE,这是一种扩散框架,它在生成模型中内置了一个可解释的概念瓶颈层,从而无需依赖外部噪声鲁棒分类器即可实现人类引导的视觉反事实解释。
本文介绍了一种方法,通过使用反事实报告坐标来确保LLM报告其真实信念,这些坐标能够抵御压力,同时保持对真实证据的响应。该方法在基准测试上取得了高性能,证明了内部激励兼容的因果证书。
提出了一种针对表格回归的反事实残差数据增强(CRDA)方法,利用特征扰动下残差不变性生成逼真的训练样本,在基准测试中实现了显著的均方误差(MSE)降低。
本文利用基于Transformer的模型对MLB Statcast数据进行反事实优化,发现同时优化最终投球和准备投球可以使K/9等赛季级统计指标提高超过1.0。
本文识别了一种故障模式,其中预测器在未识别的反事实耦合上坍缩为一点,并提出了一个使用正半定耦合核来约束反事实的框架,表明预测无法表示跨世界耦合的不确定性,且施加核约束可产生可处理的边界。
介绍了CICL,一种决策感知上下文层,通过将上下文视为决策时刻的干预,使用反事实启发式评分和类型化记忆卡(受令牌预算限制),为工具使用的LLM代理选择和压缩证据。在SWE-bench和RepoBench上的实验显示,在检索准确性和行动关键性方面取得了实际提升。
本文介绍了因果敏感性得分(CSS),一种干预性指标,用于评估临床大语言模型和智能体在患者输入沿临床意义维度变化时,是否适当地更新其建议。该指标揭示了标准覆盖度指标未能捕捉的隐藏能力画像,暴露了安全盲点和结构性响应能力缺陷。
COFT是一种无需训练的解码方法,通过应用令牌级公平控制和共形校准来减少大型语言模型思维链推理中的偏见,以最小的计算开销实现30-55%的偏见降低。
介绍了CAFE,一种通过反事实属性操作来评估可提示分割模型是否真正理解概念的基准,揭示了精确的掩码预测并不能保证忠实的语义基础。
CiPO是一种新颖的机器遗忘框架,用于大型推理模型,它利用迭代偏好优化和反事实推理轨迹,在保持推理能力的同时选择性移除不想要的知识。该方法通过生成逻辑上有效的替代推理路径,解决了依赖于链式思维推理的模型中的遗忘挑战。