标签
论文提出受控证据聚合(CEA)与平衡效用因果选择(BUC)方法,通过符号探针定位出可影响Transformer自然语言决策的紧凑注意力头集合,并在Pythia-410M上验证其因果效应。
该论文研究预训练模型容量如何影响因果任务的适应效果,基于 Qwen 2.5 构建了 CausalLLM(标量势结果估计)和 CausalGen(生成式反事实建模)两个系统,探讨从标量预测到反事实后训练的容量-适应对齐问题,并被 NeurIPS 2026 Workshop 接收。
该论文将常见的对比式和探针式激活引导方法统一为结果回归平均梯度的估计器,并利用去偏机器学习中的奈曼正交性与斯坦得分构造双重稳健的新估计器,在真实性、概念引导等数据集上提升了引导性能。
Neural-DISCO 提出一种解纠缠表示学习框架,用于神经群体活动的源条件反事实编辑:可替换单个行为或刺激标签的潜在分量,同时保留其他标签与源特异性变异性,并结合特征归因识别单神经元层面的功能角色。
该论文审计了 1999 至 2026 年间的 113 项研究,发现只有 9 项主要评测真正测量了真实人类对系统所选行动的响应,其中仅 2 项还将显式的响应预测与实测响应进行比较;在 25 项语言模型相关工作的全文检查中没有发现符合这些条件的实验。作者提出了一套直接预测评测标准,并设计了一个用于谈判助手的单步实验来区分任务成功、当前状态推断与真实响应预测。
一项预注册的因果审计发现,能够感知协变量的时间序列基础模型(Chronos-2、TiRex-2、TabPFN-TS、TimesFM-2.5)预测的是关联,而非干预效应;研究推导出的混杂差距可通过使用 LoRA 适配器进行简短的干预式后训练,最多缩小 83%。
耶鲁大学研究人员确立了思维链(CoT)可监测性指标的因果上界和下界,表明最低标准真阳性率(TPR)指标可能高估对干预所致行为的检测能力,并提出三种考虑干预的后训练方法(离策略自蒸馏、强化学习、在策略自蒸馏),以提高大语言模型推理轨迹的可监测性。
该论文研究前沿语言模型的概率判断是否满足全概率律(含因果 do-演算的后门调整),发现 GPT-6.1 Sol 和 Claude Opus 5.5 最一致,而推理长度与一致性无关,且一致性残差可在无真值情况下标记不可靠回答。
这篇arXiv论文从因果视角探索现实的变化模型,将决策框架与动力系统联系起来,以更好地刻画系统随时间演化的过程。
该论文证明了 Shu 等人提出的因果概率闭式界在每一维度上都是紧致的,并表明 PNS、PSub、PRep 和 PN 都是离散因果概率单一一致定理的特例。
本文提出 D-VAE(Deconfounder Variational Autoencoder)因果推断框架,用于评估 LLM 生成广告中专家营销标签的因果价值,并在 29,177 个化妆品广告创意上验证了其有效性。实验表明,推荐配置可使用户互动提升 32.7%。
该论文提出 ECI2D 方法,通过将语言推理链抽象为可执行程序并施加因果干预(do 算子)来筛选自生成的上下文示例,解决仅靠观察过滤示例时的观测等价问题,在数学、逻辑与常识推理基准上取得显著提升。
CausalEvo:面向医疗健康大语言模型智能体的因果技能自进化提出了一种因果技能自进化方法,通过在固定模型权重和规则数量下对比不同技能集的效果来决定保留或替换技能,在 MedCalc-Bench-Verified 六项任务上达到 60.00% 准确率,优于 SkillOpt(55.83%),且训练词元消耗减少 55.6%。
该论文介绍了 CoBe,这是一个包含 2000 个问题的基准,用于评估模型在对话式反事实文本编辑任务中的零样本能力。研究发现,前沿模型(平均得分为 58.05%)往往倾向于基于关联进行生成,而非保留因果结构,且其表现并未随着模型规模或 token 长度的增加而提升。
提出因果市场模拟器:一种基于因果先验训练的连续时间先验数据拟合网络,用于估计交易的因果市场冲击,显著缓解了经典 Almgren–Chriss 等回归模型在信息性流导致混杂时的偏差,并在模拟订单簿及 BTC/ETH/SOL 永续合约与纳斯达克股票数据上展示了正向的因果迁移证据。
该论文提出了 ReRoute,一个用于科学仿真器中反事实"what-if"预测的框架。它将事实数据与部分机制知识相结合——无需受控干预数据——在 CO2 分布偏移下可将气候误差降低 18.2–31.8%。其因果识别结果已在 Lean 中通过机器验证,并应用于平流—扩散系统、耦合气候仿真以及基于 ERA5 训练的仿真器。
该论文对语言模型中的注意力头消融方法进行了审视,指出朴素的输出层面消融会因投影操作导致不同头的信息混合,其结果与修正后的投影前消融几乎不相关;同时论文还展示了准确率上的地板/天花板效应,强调只有在留出数据上设置匹配对照,才能得出站得住脚的因果结论。
一篇关于在含定向环与潜在混杂因子的线性高斯结构因果模型中学习因果结构的论文,提出了边际准等价性(marginal quasi-equivalence)以及一种带有一致复杂度惩罚的可微伯努利门参数化方法。
本文刻画了在同时依赖协变量和结果变量的样本选择偏差下,回归何时是可行的,证明即使选择机制不可识别,回归函数依然可以被识别。文中给出了有限样本估计保证、oracle 高效的算法,并提出了针对这类选择问题的首个通用估计方法。
本文将 LLM Agent 束缚(harness)中的恢复问题建模为一个因果决策问题,将成功救援与造成损害的结果区分开来,并提出了因果干预路由器(Causal Intervention Router, CIR)。它通过选择性地触发环境刷新,将 Qwen3-14B 在长时程 ALFWorld 任务上的成功率从 70.33% 提升至 73.33%。