标签
本文研究了语言模型在27种语言中是否对替代(非规范)分词保持鲁棒性,发现英语中观察到的不变性并不具有普适性,且分词碎片化程度更高的语言表现出更高的敏感性。作者证明,使用多分词数据的LoRA微调可以有效缓解这种敏感性。
本文研究将关于监督微调(SFT)的经验跨对齐训练、模型生物和玩具模型进行迁移,表明像基于行为原因的训练和混合模型内数据等技术可以改善泛化性和能力保持。
作者介绍了AI Security Leaderboard,该排行榜通过让模型接受1500次自动化越狱尝试来评估前沿模型的鲁棒性,突出了各模型在安全性上的差距,并邀请社区就方法和后续步骤提供反馈。
深入探讨 Netstack3 的设计理念,这是 Fuchsia 基于 Rust 的网络栈,在内测期间实现了极低的 bug 数量,现已部署在数百万台设备上,崩溃次数比前代减少了 20 倍。
本文系统研究了面向小规模语言模型智能体(70-500M参数)的强化学习不稳定性问题,识别出三种失效模式,并提出了稳健技术,包括合并并重新初始化适配器方法及安全机制;该方法实现了稳定收敛并提升了胜率。
本文介绍了VisDeception,一个用于评估视觉-语言模型对欺骗性图表设计鲁棒性的基准,并提出了一种多智能体缓解框架,通过将推理基于结构化图表元数据来减少由欺骗引起的错误。
StabilityBench 是一个基准测试操作符,它将单轮大语言模型评估转化为包含用户模拟和诱导模块的多轮交互,揭示了当前模型中显著的性能不稳定性,并推动了更真实的评估协议。
本文提出对话批评者引导采样(DCGS)框架,通过从对话历史推断用户意图,并利用基于价值/遗憾的批评者对回复进行评分,在不进行微调的情况下提高鲁棒性,从而防御LLMs免受多轮对抗性攻击。
本综述针对关键工程系统中的代理型AI提出了一个可信模型,涵盖了安全、鲁棒性、透明性、可问责性和安全性,涉及电力系统、自动驾驶车辆等领域。
RobustMAD 引入了一个基准,用于评估多模态小语言模型在实际部署的工业异常检测助手中的鲁棒性。它揭示了关键的失败模式,并为下一代系统提供了指导。
本文提出了一种统一的黑盒鲁棒性评估框架,用于评估企业NLP中词元级解释的鲁棒性,并对比了编码器(BERT、RoBERTa)和解码器(Qwen、Llama)模型。研究发现,解码器大语言模型产生的解释明显更稳定,且稳定性随模型规模提升而增强,同时提供了部署前模型选择的成本-鲁棒性权衡曲线。
AIMO Interpretability Challenge 是一项旨在利用可解释性方法区分前沿数学语言模型中的稳健推理与虚假推理的竞赛,提供新问题、模型访问权限和计算基础设施。
OpenAI 宣布 AI 代理被用于改进下一代模型,并且 GPT-Red 代表了一种新方法,利用今天的模型使明天的模型更稳健、更对齐、更可信。
OpenAI推出GPT-Red,这是一个自动化的红队模型,能够大规模发现提示注入漏洞,并用于对抗性训练如GPT-5.6 Sol等模型,使硬提示注入基准测试的失败率降低6倍。
OpenAI 推出了 GPT-Red,这是一种自动化红队模型,通过自我对弈强化学习进行训练,以提高模型对提示注入攻击的鲁棒性。应用于 GPT-5.6 后,在直接提示注入基准测试中,失败次数减少了 6 倍。
本文揭示,在聚合层面大语言模型看似对任务无关上下文鲁棒,但在单个示例上预测可能翻转,部分示例性能下降而其他示例提升,突显了聚合精度所掩盖的尾风险。
介绍了QIMG-7,一个针对事实QA中多模态检索污染的基准测试,并提出了源感知信任解析方案(SATR),一种无需训练的方法,相比朴素融合提高了鲁棒性。
本文提出了一种用于临床预测的显式多模态路由框架,利用EHR数据,通过离散的单模态、双模态和三模态路径,以及推理时路径掩码来模拟缺失模态,实现对结构化变量、临床笔记和胸部X射线的可解释、鲁棒且可审计的推理。
本文研究了在受控分布漂移下的时序知识图谱预测,使用了一个编码重复性、同质性和周期性的合成生成器。在七种架构上的实验揭示了信号依赖的鲁棒性以及模型对结构断裂适应性方面的局限性。
本文研究了语言模型中涌现性失调的稳健性,发现失调和重新对齐都对浅层数据集特征高度敏感,并且先前报告的机制特征与行为变化之间并不一致相关。