perturbations

BadWorld是一种无标签的对抗框架，通过生成不可察觉的扰动来揭示视觉世界模型中的结构漏洞，这些扰动会导致未来展开中的灾难性失败。

本论文对大型语言模型在思维链推理步骤中处理损坏情况的能力进行了全面的实证评估,在数学推理任务上针对13个模型和5种扰动类型(数学错误、单位转换、盲从、跳过步骤、额外步骤)进行了测试。研究结果揭示了异质性的漏洞模式,对在多阶段推理管道中部署LLM具有重要意义。

OpenAI 研究人员展示了对抗性攻击（先前在计算机视觉中研究过）对强化学习中的神经网络策略也同样有效，即使在白盒和黑盒设置中进行微小的难以察觉的扰动也会导致显著的性能下降。