robustness

This paper introduces M2BIND, a benchmark to evaluate whether vision-language models maintain stable visual-linguistic associations across languages. It finds that binding is not language-invariant, with cross-family and cross-script settings causing significant performance collapse and weaker internal causal binding.

本文介绍了鲁棒模糊性检测（RAD）框架，该框架利用模型空间和特征空间的一致性度量来量化预测模糊性，并指导机器学习模型进行弃权预测。

This paper introduces adversarial persuasion, showing that RL-trained persuaders can collapse LLM accuracy to near zero with a single false argument, and that these tactics transfer across models including GPT-4o-mini, highlighting a critical safety vulnerability in LLM agents.

介绍了EnterpriseRAG，一个包含六个领域983个专家验证样本的基准测试，用于评估LLM在非理想企业检索条件下的指令遵循和鲁棒性，这些条件包括噪声、知识缺口和事实冲突。对13个LLM的评估揭示了单个约束满足率与整体合规率之间的巨大差距，凸显了在生产级RAG系统中需要上下文感知协议。

本文介绍了VialectBench，这是一个评估LLM在六种越南方言群体和四项任务上鲁棒性的基准，发现平均性能下降2.82%，且没有模型完全不受方言影响。

Introduces AndroidReality, a perturbation-based framework for evaluating and improving the robustness of mobile agents, with a taxonomy of real-world interface perturbations and a training-free Test-Time Introspective Recovery (TTIR) mechanism.

一篇论文，介绍了ILL（一种不可听的低频红队测试方法，用于暴露音频语言模型的安全漏洞）和DRG（一种防御方法，可检测分布偏移并请求第二次录音以恢复准确性）。

介绍了Cultivar，一个对比性本地化翻译基准，用于检测数据污染并评估多语言翻译模型的本地化鲁棒性。该基准对32个开放权重模型进行了评测，发现机器翻译专用模型的鲁棒性较低，且可能对FLORES存在过拟合。

一项关于模拟硬件噪声的实验表明，准确率在阈值处崩溃而非平滑下降，而噪声感知训练显著移动了该阈值。

这篇arXiv论文介绍了CohortHijack，一种鲁棒性审计方法，通过从单细胞查询队列中移除非目标细胞，来测试在不改变目标细胞表达谱的情况下，注释工具可能如何被操纵。研究表明，在保留目标细胞的同时，结构化移除和搜索策略可以改变主流流程中的精炼标签，从而将查询队列组成识别为一个攻击面。

介绍GROM，一种无梯度的单次机器遗忘方法，通过岭正则化最小二乘法计算闭式加性权重更新，在TOFU和WMDP等基准上实现了最先进的遗忘-效用权衡，并能抵抗基于量化的恢复攻击。

This paper proposes a method to identify spuriously correlated samples after model convergence by measuring prediction fragility under input perturbation, requiring no group labels or early-stopping epochs. Rebalancing training with detected samples improves worst-group accuracy on Waterbirds from 57.3% to 80.8%.

This paper presents a triple-robustness analysis of RAG for multi-hop traceability, varying embedder, corpus, and judge across thousands of runs. It finds that over-citation is architecturally universal in GraphRAG but its faithfulness consequences are corpus-conditional, and LLM-as-judge faithfulness is fragile across retrieval states.

这篇arXiv论文评估了推理型大语言模型的心智理论能力，发现其对提示变化和任务扰动的稳健性有所提高。作者将这一增益解读为支持基于稳健性的解释，而非新的ToM特定能力。

本文提出了一种利用语义等价的对抗性扰动来诱发LLM内在幻觉的框架，表明即使保持查询含义不变，最先进的模型在上下文忠实度上也会显著下降。

本文介绍了ExpG，一种构建和优化自适应引导的机制，该机制捕捉每个工具的能力边界和最佳实践，使代理能够在多样化的运行时条件下更鲁棒地使用工具。实验表明，在工具选择、工具调用和响应生成方面取得了持续改进，使较小的代理能够超越未使用ExpG的较大代理。

介绍ARB，一个用于评估AI文本检测器的匹配作者重写基准，表明尽管对直接LLM生成的文本具有高召回率，但当人类文本被LLM重写时，检测器性能显著下降。

This paper introduces CAGE, a certification method that verifies whether tool-using LLM agents remain authorized under typed-return uncertainty, including binding faults and numerical drift. It proves that separate channel certification is insufficient and provides exact and learned-gate variants for practical authorization.

本文评估了GRU、LSTM和Transformer编码器模型在基于车辆远程信息处理数据对2级自动驾驶系统进行分类时的性能，并引入了一个模拟真实数据损坏的鲁棒性评估框架。

分析主要AI模型（GPT、Claude、Gemini、Kimi）跨厂商产生的零字节输出现象，揭示影响生成可靠性的语义空矩阵。