robustness

标签

Cards List
#robustness

可信 AI 审稿人缺失的一环:从修辞鲁棒性基准评测到 SciCore 审稿

arXiv cs.CL ↗ · 2026-10-01 缓存

该论文将修辞鲁棒性(Rhetorical Robustness)引入 AI 科学审稿人的评估目标,提出了包含 1,260 个论文版本的 RobustReview 基准,并介绍了 SciCore——一种双分支审稿人,将全文评估与基于科学核心内容抽取的判断相结合,在保持与人类对齐的同时提升审稿稳定性。

0 人收藏 0 人点赞
#robustness

感知与敏感度:用临床医生专家对 LLM 临床分诊建议进行基准评测

arXiv cs.AI ↗ · 2026-10-01 缓存

麻省理工学院(MIT)研究人员构建了一个包含 6,000 多个临床场景、7,000 多条医生标注的基准数据集。研究显示,LLM 在分诊中建议的非必要护理多于医生,且对性别和语气等扰动更加敏感。

0 人收藏 0 人点赞
#robustness

泛化即稳定性,而非准确率:大语言模型的多轴向评估

Hugging Face Daily Papers ↗ · 2026-10-01 缓存

该论文提出 Stability-Aware Generalization Objective(SAGO)框架,主张 LLM 的泛化应评估为稳定性而非准确率,通过生成一致性、内部激活、置信度和响应镜像等多维度变异测量,揭示了现有模型普遍存在且与排名相关的泛化不稳定问题。

0 人收藏 0 人点赞
#robustness

通过受控环境干预构建高难度浏览器使用任务

arXiv cs.CL ↗ · 2026-09-30 缓存

BreakingWeb 是由 Amazon 和 Duke 提出的基准测试框架,它针对智能体已能完成的任务,通过受控且确定性的环境干预来构建高难度的浏览器使用任务。在此框架下,智能体的通过率下降了 22.9%,而人类仅下降 10.0%,从而揭示了普遍存在的「信念失效」问题——智能体会错误地宣称自己已成功完成任务。

0 人收藏 0 人点赞
#robustness

评估提示扰动对大语言模型偏见与幻觉的影响

arXiv cs.CL ↗ · 2026-09-30 缓存

这篇 arXiv 论文评估了提示扰动如何影响用于决策任务的大语言模型中的偏见与幻觉问题,发现扰动在部分模型中能够缓解这些问题,其中 Claude 3 在大多数数据集上的表现优于 GPT-3.5。

0 人收藏 0 人点赞
#robustness

表征简单性与回路规模以阈值依赖的方式解耦:通过对抗训练进行的对照检验

arXiv cs.AI ↗ · 2026-09-30 缓存

该预印本以对抗训练作为对照工具,在 GPT-2 Small 上检验表征简单性(SAE 可分解性、集中化归因)是否蕴含回路在因果上的简单性。研究发现,鲁棒模型具有更强的 SAE 可分解性,而回路规模则取决于机制区间:在高忠实度水平(90-95%)下,鲁棒性有所帮助,但在 85% 以下则无此效果。

0 人收藏 0 人点赞
#robustness

面向鲁棒多模态情感分析的可靠性感知跨样本增强

arXiv cs.LG ↗ · 2026-09-29 缓存

本文提出了一种可靠性感知跨样本增强(RCE)框架,用于鲁棒多模态情感分析。该框架通过自适应信息瓶颈和跨样本来处理噪声和模态缺失问题,并在多种设置中展示出优越性能。

0 人收藏 0 人点赞
#robustness

审计 System-1 模型在生物安全相关基准测试上的表现:非生成模型中的校准、选择性预测与排列不稳定性

arXiv cs.LG ↗ · 2026-09-29 缓存

本文对一个非生成式 System-1 模型在生物安全相关基准测试上进行了审计,测量了准确性、校准度和对答案选项顺序的敏感性,这对人工智能安全管道具有启示意义。

0 人收藏 0 人点赞
#robustness

参数与上下文:面向鲁棒检索增强生成的TRACE微调

arXiv cs.LG ↗ · 2026-09-29 缓存

本文提出TRACE,这是一个用于检索增强生成(RAG)的微调框架,它使用多智能体辩论轨迹和答案完整性正则化来处理知识冲突,从而提高对误导性上下文的鲁棒性并减少不完整答案。

0 人收藏 0 人点赞
#robustness

关键不在于图像展示了什么:无关背景会扰乱 VLM 判定器却不提供任何信息

Hugging Face Daily Papers ↗ · 2026-09-29 缓存

论文提出 MIST(误导性图像压力测试)基准,测试 13 个 VLM 判定器在存在对齐、误导或缺失图像时标签的稳定性,发现改变判断的主要因素是图像是否出现,而非图像内容,说明可替代性结论对评测配置同样敏感。

0 人收藏 0 人点赞
#robustness

模型自身重复令牌的去向

arXiv cs.CL ↗ · 2026-09-28 缓存

本研究探讨黑盒模型识别,利用重复令牌作为退化输入以映射令牌目的地,表明非固定点令牌可准确区分模型家族,并评估了在不同量化水平下的鲁棒性。

0 人收藏 0 人点赞
#robustness

用于鲁棒成对LLM评判的骨干自适应证据路由

arXiv cs.AI ↗ · 2026-09-28 缓存

BAER引入了一种骨干自适应证据路由方法,用于鲁棒的成对LLM评判,通过根据条件动态选择证据机制,在多个基准测试中实现了更高的准确性。

0 人收藏 0 人点赞
#robustness

BaRe-Mem:用于鲁棒和自适应智能体咨询的贝叶斯可靠性记忆

Hugging Face Daily Papers ↗ · 2026-09-28 缓存

BaRe-Mem 引入了一个用于多智能体咨询的贝叶斯在线可靠性记忆,增强了对误导性顾问信息的鲁棒性,并指导在咨询和自主推理之间的选择。

0 人收藏 0 人点赞
#robustness

联邦学习中的鲁棒性维护:趋势、新兴策略与研究机会

arXiv cs.LG ↗ · 2026-09-25 缓存

本文对联邦学习中的鲁棒性进行了全面综述,涵盖了威胁模型、聚合策略、防御战术以及未来研究方向。

0 人收藏 0 人点赞
#robustness

学会何时不听:语言模型的选择性抗干扰预训练

arXiv cs.CL ↗ · 2026-09-24 缓存

SPAR 是一种预训练目标,采用门控KL散度损失来稳定语言模型预测,对抗无关前缀文本,从而提升在长上下文场景中的鲁棒性,并在多个基准测试中得到验证。

0 人收藏 0 人点赞
#robustness

CAVEAT:迈向激励错位环境下的鲁棒计算机使用代理

arXiv cs.AI ↗ · 2026-09-24 缓存

本文提出CAVEAT基准,用于评估激励错位环境中的计算机使用代理,揭示代理常无法维护用户目标,并建议通过干预措施增强其鲁棒性。

0 人收藏 0 人点赞
#robustness

Hallucination-R1: 鲁棒性导向的改写生成与事实一致性

arXiv cs.CL ↗ · 2026-09-21 缓存

本文介绍了Hallucination-R1,一个面向鲁棒性的改写生成框架,旨在通过创建语义等价但具有挑战性的改写来识别并提升大型语言模型中的事实一致性。

0 人收藏 0 人点赞
#robustness

MME-Safety:一个用于MLLMs安全评估的细粒度基准

arXiv cs.CL ↗ · 2026-09-21 缓存

MME-Safety 是一个经过严格验证的基准,用于评估多模态大语言模型的安全性,具有四维标注框架和一个分层框架,以评估风险场景、危害严重程度和特定模态的隐蔽性水平。

0 人收藏 0 人点赞
#robustness

交易场中的传染:对抗信号在多代理交易系统中的传播

arXiv cs.AI ↗ · 2026-09-18 缓存

本文介绍了通用多代理交易系统(GMATS)框架,用于研究基于LLM的交易系统中的对抗性攻击,表明即使是简单的输入攻击也可能降低性能,但稳健的系统设计可以提高鲁棒性。

0 人收藏 0 人点赞
#robustness

SAM-on-the-Curve:鲁棒权重空间插值的尖锐感知模式连接

arXiv cs.LG ↗ · 2026-09-17 缓存

本文引入了尖锐模式连接 (SMC) 来增强神经网络中权重空间插值的鲁棒性,通过优化整个路径的平坦性,在分布偏移下实现了显著的准确性提升。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈