标签
该论文批判性地审视了 CLadder 这一广泛用于评估大语言模型因果推理能力的基准,揭示其中存在具有高度预测性的表面模式。随机森林等简单模型在该基准生成的数据集上表现良好,而商业大语言模型的表现却缺乏稳健性,这表明它们的优异成绩源于利用捷径,而非真正的因果推理。
该论文提出 PerturBot,一种打破视觉-语言-动作(VLA)模型中模态捷径先验的扰动训练框架,并引入 Grounding F-score 作为离线诊断策略对捷径依赖程度的评估指标,从而在不改变推理流程的情况下提升 VLA 决策对任务相关证据的依赖。
CARAT 提出了一个匹配证据基准,用于检验材料大模型是真正对晶体结构进行推理,还是仅仅复述输入中已印出的答案,结果发现那些看似显著的性能提升很大程度上反映的是基线之间的差距,而非推理能力的提升。
该论文发现非侵入式脑电解码语音中报告的大幅改进很大程度上可由时间间隔捷径在无脑数据的合成信号上复现;通过将句子内的滑动窗口独立编码以移除该捷径后,提出的SimpleB2T方法在五次观测下达到36.6%的词错误率,显著提升了脑到文本解码性能。
该论文审计了广泛使用的 ISOT/Kaggle 假新闻语料库,揭示了文本分类器中的高准确度源于通过元数据和样式信号的捷径学习,而非真正的可信度评估。
Latent Interface Training (LIT) 通过先在无视觉输入的情况下教授动作,然后使用姿态监督的潜在接口来保留动作所需的几何结构,从而解决机器人策略从训练图像中学习捷径的问题。
本文证明法律多项选择基准易受仅选项可解性影响,即模型无需题目即可正确作答,并且基于单一模型性能的过滤并不能提高对其他模型的有效性。
论文介绍了XIGL,一种利用解释和主动学习的人机协作策略,用于检测和移除图神经网络中的捷径,以提升其在分布外任务上的可靠性。
This paper identifies a refusal-cue shortcut in safety guard models, where inserting refusal expressions into harmful responses can flip their harmless classification. The authors audit datasets like WildGuardMix and GR-Train, show the issue persists in official models such as LlamaGuard3 and Qwen3Guard, and propose a post-hoc intervention to suppress shortcut-associated components.
本文识别了像素级别的隐形元数据痕迹,这些痕迹被视觉编码器用作捷径,导致在元数据分布偏移下出现性能下降。在预训练期间和之后采取的缓解策略,能降低对目标元数据和未见元数据的敏感性,同时不牺牲下游性能。
本文提出了一种新颖的训练准则,旨在减少自动英语口语能力评估系统对捷径的依赖,防止考生在没有真正进步的情况下通过利用捷径提高分数。在基于音频和文本的系统的实验表明,该方法降低了与可被利用特征的相关性,使自动评分更接近人工评判。
本文利用英国就业法庭的索赔案例,实证研究了法律判决预测中的捷径学习现象,发现模型会利用事后司法文本中揭示结果线索,但在掩盖这些泄露特征后,模型性能依然保持稳健。
本文研究了阻碍零样本组合动作识别中组合泛化能力的物体驱动捷径,提出了RCORE来缓解动词塌缩并提升未见组合的泛化能力。
本文评估了多传感器融合在时间分布偏移下对牛姿态分类的稳健性,发现多模态模型性能显著下降,而更简单的单传感器模型泛化能力更好,揭示了捷径学习问题。
本文利用平行圣经翻译引入了一种受控内容重叠设置,用于评估风格分类器在多大程度上依赖内容线索而非实际风格特征。结果表明,当移除内容线索时,低重叠模型性能下降,而高重叠模型则迁移得更为稳健。
本文识别并诊断了EEG基础模型中的“身份陷阱”,即高准确率可能源于受试者身份特征而非真实的临床生物标志物。它提出了FMScope,一种冻结表示协议以分离这些信号,并证明了受试者身份混杂在三模型中普遍存在且可通过线性方法移除。
SpurAudio 是一个新的基准测试,旨在评估少样本音频分类中的捷径学习与虚假相关性问题。研究表明,当背景相关性被打破时,包括大型预训练音频基础模型在内的最先进方法均出现显著的性能下降。
本文发现了一种‘位置复制’捷径:小型语言模型通过复制答案分隔符前的最后一个数字来回答算术问题,绕过了实际推理。该效应解释了为何打乱CoT步骤仍能保持性能;在GSM8K上,它占1-3B模型教师强制准确率的89-92%。
本研究论文探讨了Transformer模型(特别是BERT)在学习过程中产生的捷径策略如何削弱其持续组合推理能力。研究将BERT与ALBERT进行对比,发现ALBERT的循环特性为持续学习任务提供了更好的归纳偏置。
研究表明,由于捷径学习和仅凭文本臆造视觉细节,思维链提示会损害多模态大模型在视觉空间推理方面的表现。