标签
LlamaIndex 发布了 BooBench,一个有趣的 179 页万圣节主题基准测试,通过"吓唬"大模型和文档 OCR 工具使其输出重复字符,暴露出视觉语言模型在面对带有引导点、涂黑标记等重复元素的真实文档时会陷入重复循环的失败模式。
提出了增强引导的对抗训练(AGAT)框架,利用基于增强的局部稳定性(ALS)得分选择邻域不稳定的样本进行对抗训练,在仅对 20–30% 的样本施加对抗监督的情况下达到相当或更高的鲁棒准确率,同时降低训练成本。
该论文提出了一个针对法语表层变体(省略撇号、去除变音符号、键盘输入错误)的受控基准,涵盖七项任务,共包含12,600个输入。结果表明,随着扰动强度增加,准确率下降,Brier分数和负对数似然(NLL)上升,而将校准与输入还原相结合可提高可靠性。
本文提出了一种对方向敏感、相对于读出方式的语言模型语义脆弱性解释,表明异质的任务保持型改写可以具有共同的失效动态,却不存在共同的、独立于输入的失效方向,并在 Qwen3-32B 和 Gemma 4 31B 上进行了验证。
本文审查了在工具使用任务中对 Qwen3.5-27B 进行的残差激活干预,发现此类修改虽然提高了目标选择的准确率,但这些增益无法泛化到重新组合的事实,也未能提升完整动作的正确性,从而揭示了目标选择控制与条件敏感推理之间的区别。
论文提出 C3L(Concept-Consistent Continual Learning),通过将显著性正则化锚定到离线发现的语义概念上,打破持续学习中的自指性解释漂移循环,并借助 LRP 相关性守恒产生"挤出效应"以抑制虚假相关,在五个基准上取得 SOTA 表现。
TRACE 是一个训练感知的基准测试框架,将 168 个文本-视觉嵌入任务重新组织为通用(General)、适应性(Adaptability)和挑战性(Challenge)三大类别。研究发现,数据适配能够提升模型的适应性,但在解决具有挑战性的多语言任务和视觉文档任务方面仍然收效甚微。
该论文提出了 MAMath-Bench,一个面向多智能体数学推理的过程感知基准,包含 1003 道跨 11 个数学类别与文本、图像、音频多模态的题目,从答案正确性、推理过程可靠性与对抗扰动鲁棒性三个维度进行评估,并发现多智能体协作并不总能提升最终准确率且易受对抗推理错误影响。
该论文提出有界续写分析(BCA),通过概率模型检查量化自回归语言模型中隐藏的有害生成概率,以补充传统的攻击成功率(ASR)指标,更好地揭示表面拒绝之下的分布脆弱性。
哈佛与MIT团队提出MPT(Market-Based Post-Training),在去中心化的多智能体蜂群中通过竞价机制联合学习动作策略与自我编排,无需中央协调器,实验在具身创造、机器人导航与深度研究任务上验证了其在规模扩展、抗节点宕机与任务迁移上的显著优势。
该论文提出了一个受扰动控制的医疗LLM智能体基准测试,包含400个多轮episode,评测在缺失、过时、冲突和迟到信息下的升级/拒答决策能力。结果显示模型在干净环境下准确率达0.97,但在不确定性扰动下漏掉32-97%的必要升级,且基于词汇规则的控制器在未见过的同义改写下召回率降至0。
本文揭示了自我改进智能体中技能-策略共进化的脆弱性陷阱,提出部署导向的评估协议CODA来审计技能漂移的影响,发现最差情况下共进化增益会被削弱52-93%。
Matt Pocock 分享说,当 AI 编程智能体构建状态机或 reducer 时,他总能获得更好的健壮性,未来的更新也更简单、更易于测试,因此他推荐在前端开发中采用这种做法。
该论文提出 REASON 双循环推理框架,通过快速(System 1 式)和中速(System 2 式)循环分层解决残差误差,在分布偏移和未见扰动下以约一半计算量显著提升模型鲁棒性,并优于分级分类器和学习延迟方法。
提出 DecisionRobust 基准,系统评估 JEV 风格决策模型在文本与视觉输入下的对抗鲁棒性,涵盖文本/图像扰动与提示注入等攻击,揭示了模型鲁棒性的多项关键发现。
您提供的内容已经是简体中文摘要,并非需要翻译的英文原文。请提供需要翻译的英文 Markdown 文章原文,我将按照要求将其翻译为自然流畅的简体中文,保留标题、列表、强调、行内代码和链接等格式,并将专有名词(如 UnCoBench、LLM 等)保持英文不变。
BeliefScope 是一个受控黑盒框架,用于区分大语言模型在面对真实证据与无事实增量的定向用户压力时的信念变化来源,并在 Qwen/Llama 等 36 族模型上展示了其结论对评估上下文的依赖性。
该论文提出SSRFT(Supervised Safe-Role Fine-Tuning),首次将安全对齐重新定义为内化预定义安全角色的过程,而非显式拒绝模式,在多种模型上实现了比标准SFT更鲁棒、更可泛化的安全对齐效果,并降低了对良性查询的过度拒绝。
本文提出了“对齐–效用不对称性”这一概念,指出当大语言模型适应基于规则、不改变语义的输入变换(例如字母置换)时,任务效用基本得以保留,但有害回应率却急剧飙升——例如 GPT-4.1 mini 从 13.3% 升至 74.3%,Gemini 3 Flash 从 2.3% 升至 43.0%。这表明安全对齐无法随语义一起泛化。
该研究发现,大型语言模型在临床文档和推理任务中容易受到无关信息(如寒暄对话、背景语音)的污染,提出临床推理与分心的双编码假设,并建议在临床部署前评估模型对无关信息的抵抗力。