robustness

标签

Cards List
#robustness

@jerryjliu0: 万圣节快乐!我们做了一个有趣的基准测试,用来"吓唬"大模型和 OCR 工具,让它们输出大量重复字符——就像很多真实世界……

X AI KOLs Following ↗ · 2026-10-31 缓存

LlamaIndex 发布了 BooBench,一个有趣的 179 页万圣节主题基准测试,通过"吓唬"大模型和文档 OCR 工具使其输出重复字符,暴露出视觉语言模型在面对带有引导点、涂黑标记等重复元素的真实文档时会陷入重复循环的失败模式。

0 人收藏 0 人点赞
#robustness

通过基于局部稳定性的样本选择实现增强引导的对抗训练

arXiv cs.LG ↗ · 2026-10-28 缓存

提出了增强引导的对抗训练(AGAT)框架,利用基于增强的局部稳定性(ALS)得分选择邻域不稳定的样本进行对抗训练,在仅对 20–30% 的样本施加对抗监督的情况下达到相当或更高的鲁棒准确率,同时降低训练成本。

0 人收藏 0 人点赞
#robustness

细微编辑,决策变化:评测大语言模型在法语输入变体上的准确性与可靠性

arXiv cs.CL ↗ · 2026-10-27 缓存

该论文提出了一个针对法语表层变体(省略撇号、去除变音符号、键盘输入错误)的受控基准,涵盖七项任务,共包含12,600个输入。结果表明,随着扰动强度增加,准确率下降,Brier分数和负对数似然(NLL)上升,而将校准与输入还原相结合可提高可靠性。

0 人收藏 0 人点赞
#robustness

多种扰动,共同的失效动力学:追踪语言模型中方向敏感的扰动影响

arXiv cs.CL ↗ · 2026-10-26

本文提出了一种对方向敏感、相对于读出方式的语言模型语义脆弱性解释,表明异质的任务保持型改写可以具有共同的失效动态,却不存在共同的、独立于输入的失效方向,并在 Qwen3-32B 和 Gemma 4 31B 上进行了验证。

0 人收藏 0 人点赞
#robustness

从目标选择到条件复用:审计工具使用模型中的残差干预

arXiv cs.CL ↗ · 2026-10-26

本文审查了在工具使用任务中对 Qwen3.5-27B 进行的残差激活干预,发现此类修改虽然提高了目标选择的准确率,但这些增益无法泛化到重新组合的事实,也未能提升完整动作的正确性,从而揭示了目标选择控制与条件敏感推理之间的区别。

0 人收藏 0 人点赞
#robustness

语义概念引导打破持续学习中的解释漂移循环

Hugging Face Daily Papers ↗ · 2026-10-24 缓存

论文提出 C3L(Concept-Consistent Continual Learning),通过将显著性正则化锚定到离线发现的语义概念上,打破持续学习中的自指性解释漂移循环,并借助 LRP 相关性守恒产生"挤出效应"以抑制虚假相关,在五个基准上取得 SOTA 表现。

0 人收藏 0 人点赞
#robustness

TRACE:面向文本-视觉嵌入模型的训练感知鲁棒性与挑战性评估框架

arXiv cs.CL ↗ · 2026-10-21 缓存

TRACE 是一个训练感知的基准测试框架,将 168 个文本-视觉嵌入任务重新组织为通用(General)、适应性(Adaptability)和挑战性(Challenge)三大类别。研究发现,数据适配能够提升模型的适应性,但在解决具有挑战性的多语言任务和视觉文档任务方面仍然收效甚微。

0 人收藏 0 人点赞
#robustness

MAMath-Bench:面向多智能体数学推理的过程感知与鲁棒性评估基准

arXiv cs.AI ↗ · 2026-10-21 缓存

该论文提出了 MAMath-Bench,一个面向多智能体数学推理的过程感知基准,包含 1003 道跨 11 个数学类别与文本、图像、音频多模态的题目,从答案正确性、推理过程可靠性与对抗扰动鲁棒性三个维度进行评估,并发现多智能体协作并不总能提升最终准确率且易受对抗推理错误影响。

0 人收藏 0 人点赞
#robustness

拒绝并不等同于鲁棒性:衡量自回归语言模型中的有害可达性

arXiv cs.LG ↗ · 2026-10-19 缓存

该论文提出有界续写分析(BCA),通过概率模型检查量化自回归语言模型中隐藏的有害生成概率,以补充传统的攻击成功率(ASR)指标,更好地揭示表面拒绝之下的分布脆弱性。

0 人收藏 0 人点赞
#robustness

@snwiki238337: 几乎所有人在设计多智能体系统(Multi-Agent)时,都会下意识地掉进同一个思维,必须选出一个中央 agent,或者预先写死一条固定的执行流水线。 在传统认知里,没有领导的团队就是一盘散沙。但只要你在生产环境里跑过多智能体系统,就会发…

X AI KOLs Timeline ↗ · 2026-10-17 缓存

哈佛与MIT团队提出MPT(Market-Based Post-Training),在去中心化的多智能体蜂群中通过竞价机制联合学习动作策略与自我编排,无需中央协调器,实验在具身创造、机器人导航与深度研究任务上验证了其在规模扩展、抗节点宕机与任务迁移上的显著优势。

0 人收藏 0 人点赞
#robustness

审计医疗大语言模型智能体的升级处理可靠性:工作流状态故障的扰动受控基准测试

arXiv cs.AI ↗ · 2026-10-16 缓存

该论文提出了一个受扰动控制的医疗LLM智能体基准测试,包含400个多轮episode,评测在缺失、过时、冲突和迟到信息下的升级/拒答决策能力。结果显示模型在干净环境下准确率达0.97,但在不确定性扰动下漏掉32-97%的必要升级,且基于词汇规则的控制器在未见过的同义改写下召回率降至0。

0 人收藏 0 人点赞
#robustness

共同进化,分离失效:自我改进智能体中的技能—策略协同进化陷阱

arXiv cs.AI ↗ · 2026-10-16 缓存

本文揭示了自我改进智能体中技能-策略共进化的脆弱性陷阱,提出部署导向的评估协议CODA来审计技能漂移的影响,发现最差情况下共进化增益会被削弱52-93%。

0 人收藏 0 人点赞
#robustness

@mattpocockuk: 我觉得自己上瘾了,总想让 AI 智能体构建状态机。每次看到智能体构建了一个状态机(或者……

X AI KOLs Following ↗ · 2026-10-15 缓存

Matt Pocock 分享说,当 AI 编程智能体构建状态机或 reducer 时,他总能获得更好的健壮性,未来的更新也更简单、更易于测试,因此他推荐在前端开发中采用这种做法。

0 人收藏 0 人点赞
#robustness

学习中结构化优化网络的稳健解释性分析(REASON)

Hugging Face Daily Papers ↗ · 2026-10-14 缓存

该论文提出 REASON 双循环推理框架,通过快速(System 1 式)和中速(System 2 式)循环分层解决残差误差,在分布偏移和未见扰动下以约一半计算量显著提升模型鲁棒性,并优于分级分类器和学习延迟方法。

0 人收藏 0 人点赞
#robustness

DecisionRobust:JEV 风格决策模型在文本与视觉任务上的鲁棒性基准测试

Hugging Face Daily Papers ↗ · 2026-10-13 缓存

提出 DecisionRobust 基准,系统评估 JEV 风格决策模型在文本与视觉输入下的对抗鲁棒性,涵盖文本/图像扰动与提示注入等攻击,揭示了模型鲁棒性的多项关键发现。

0 人收藏 0 人点赞
#robustness

您好!您只提供了文章标题: **Beyond Perfect Teammates: Multi-Agent Collaboration with Unreliable Colleagues** 但没有提供需要翻译的正文内容。请将完整的 markdown 文章粘贴过来,我会为您翻译成简体中文。

Hugging Face Daily Papers ↗ · 2026-10-12 缓存

您提供的内容已经是简体中文摘要,并非需要翻译的英文原文。请提供需要翻译的英文 Markdown 文章原文,我将按照要求将其翻译为自然流畅的简体中文,保留标题、列表、强调、行内代码和链接等格式,并将专有名词(如 UnCoBench、LLM 等)保持英文不变。

0 人收藏 0 人点赞
#robustness

BeliefScope:诊断大语言模型中证据驱动的信念修订与压力引发的信念转变

arXiv cs.CL ↗ · 2026-10-09 缓存

BeliefScope 是一个受控黑盒框架,用于区分大语言模型在面对真实证据与无事实增量的定向用户压力时的信念变化来源,并在 Qwen/Llama 等 36 族模型上展示了其结论对评估上下文的依赖性。

0 人收藏 0 人点赞
#robustness

超越拒绝模式:面向鲁棒且可泛化的大语言模型安全对齐的安全角色内化

arXiv cs.AI ↗ · 2026-10-08 缓存

该论文提出SSRFT(Supervised Safe-Role Fine-Tuning),首次将安全对齐重新定义为内化预定义安全角色的过程,而非显式拒绝模式,在多种模型上实现了比标准SFT更鲁棒、更可泛化的安全对齐效果,并降低了对良性查询的过度拒绝。

0 人收藏 0 人点赞
#robustness

只是换了个字母,安全训练就失效了

Reddit r/ArtificialInteligence ↗ · 2026-10-06 缓存

本文提出了“对齐–效用不对称性”这一概念,指出当大语言模型适应基于规则、不改变语义的输入变换(例如字母置换)时,任务效用基本得以保留,但有害回应率却急剧飙升——例如 GPT-4.1 mini 从 13.3% 升至 74.3%,Gemini 3 Flash 从 2.3% 升至 43.0%。这表明安全对齐无法随语义一起泛化。

0 人收藏 0 人点赞
#robustness

偶然信息污染患者记录并干扰大型语言模型的临床推理

Hugging Face Daily Papers ↗ · 2026-10-06 缓存

该研究发现,大型语言模型在临床文档和推理任务中容易受到无关信息(如寒暄对话、背景语音)的污染,提出临床推理与分心的双编码假设,并建议在临床部署前评估模型对无关信息的抵抗力。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈