标签
本文研究了多模态声明验证模型在面对LLM改写所引起的文本风格变化时的表现。作者对11个开源权重视觉语言模型（2B–38B）进行了评估，发现模型准确率在自然改写和受控的LLM词汇注入下基本保持稳健，但以模糊限定为导向的修改会在几乎所有模型中引起一致的概率偏移。
该论文从五个沟通风格维度和四种英语方言变体对邮件助手进行基准测试，发现间接和正式的请求会降低检索效果，并导致智能体遗漏所需操作而非执行无依据的操作，即便相关证据已被成功检索。
本文认为，时间序列预测基准需要基于场景的压力测试，即测试用例应包含语义场景、显式失效算子和可量化的难度等级，以捕捉体制转换和传感器故障等结构化异常——而这些异常是基于独立同分布扰动的鲁棒性测试所无法覆盖的。
本文提出一种基于生成器的评估框架，用于研究概念瓶颈模型和基于原型的模型在几何-隐变量扰动与语义-概念扰动下的响应差异，论证了可解释性本身并不天然带来鲁棒性，而只是将敏感性重新分配到了不同的扰动空间中。
该论文提出 Robust Nash Alignment，一个面向不确定成对偏好的博弈论对齐框架，通过主-对偶代理博弈与乐观镜面下降-上升算法，实现了对最坏情况胜率的认证下界，并在 LLM 对齐实验中优于基线方法。
JEPA 有一个未被讨论的严重盲点：它严重依赖稳定、缓慢变化的特征。只要在每个 episode 中加入一个固定不变的无关 patch，规划就会崩溃；若让该 patch 不可预测，性能反而几乎恢复正常。
该论文将修辞鲁棒性（Rhetorical Robustness）引入 AI 科学审稿人的评估目标，提出了包含 1,260 个论文版本的 RobustReview 基准，并介绍了 SciCore——一种双分支审稿人，将全文评估与基于科学核心内容抽取的判断相结合，在保持与人类对齐的同时提升审稿稳定性。
麻省理工学院（MIT）研究人员构建了一个包含 6,000 多个临床场景、7,000 多条医生标注的基准数据集。研究显示，LLM 在分诊中建议的非必要护理多于医生，且对性别和语气等扰动更加敏感。
该论文提出 Stability-Aware Generalization Objective（SAGO）框架，主张 LLM 的泛化应评估为稳定性而非准确率，通过生成一致性、内部激活、置信度和响应镜像等多维度变异测量，揭示了现有模型普遍存在且与排名相关的泛化不稳定问题。
BreakingWeb 是由 Amazon 和 Duke 提出的基准测试框架，它针对智能体已能完成的任务，通过受控且确定性的环境干预来构建高难度的浏览器使用任务。在此框架下，智能体的通过率下降了 22.9%，而人类仅下降 10.0%，从而揭示了普遍存在的「信念失效」问题——智能体会错误地宣称自己已成功完成任务。
这篇 arXiv 论文评估了提示扰动如何影响用于决策任务的大语言模型中的偏见与幻觉问题，发现扰动在部分模型中能够缓解这些问题，其中 Claude 3 在大多数数据集上的表现优于 GPT-3.5。
该预印本以对抗训练作为对照工具，在 GPT-2 Small 上检验表征简单性（SAE 可分解性、集中化归因）是否蕴含回路在因果上的简单性。研究发现，鲁棒模型具有更强的 SAE 可分解性，而回路规模则取决于机制区间：在高忠实度水平（90-95%）下，鲁棒性有所帮助，但在 85% 以下则无此效果。
本文提出了一种可靠性感知跨样本增强（RCE）框架，用于鲁棒多模态情感分析。该框架通过自适应信息瓶颈和跨样本来处理噪声和模态缺失问题，并在多种设置中展示出优越性能。
本文对一个非生成式 System-1 模型在生物安全相关基准测试上进行了审计，测量了准确性、校准度和对答案选项顺序的敏感性，这对人工智能安全管道具有启示意义。
本文提出TRACE，这是一个用于检索增强生成（RAG）的微调框架，它使用多智能体辩论轨迹和答案完整性正则化来处理知识冲突，从而提高对误导性上下文的鲁棒性并减少不完整答案。
论文提出 MIST（误导性图像压力测试）基准，测试 13 个 VLM 判定器在存在对齐、误导或缺失图像时标签的稳定性，发现改变判断的主要因素是图像是否出现，而非图像内容，说明可替代性结论对评测配置同样敏感。
本研究探讨黑盒模型识别，利用重复令牌作为退化输入以映射令牌目的地，表明非固定点令牌可准确区分模型家族，并评估了在不同量化水平下的鲁棒性。
BAER引入了一种骨干自适应证据路由方法，用于鲁棒的成对LLM评判，通过根据条件动态选择证据机制，在多个基准测试中实现了更高的准确性。
BaRe-Mem 引入了一个用于多智能体咨询的贝叶斯在线可靠性记忆，增强了对误导性顾问信息的鲁棒性，并指导在咨询和自主推理之间的选择。