adversarial-attack

标签

Cards List
#adversarial-attack

多合一:针对大语言模型转换的可组合攻击

arXiv cs.LG ↗ · 3天前 缓存

这篇论文介绍了苏黎世联邦理工学院提出的“All-in-One”可组合攻击框架。该框架通过将量化、剪枝或模型合并等部署阶段的变换近似为权重扰动,并在单一训练目标中对其进行联合优化,训练大语言模型,使其能够通过安全检查,却在经历这些变换后表现出恶意行为。

0 人收藏 0 人点赞
#adversarial-attack

EASE:基于熵自适应的分布重塑以规避AI生成文本检测器

arXiv cs.CL ↗ · 2026-10-08 缓存

本文提出EASE框架,该框架无需训练且不依赖具体检测器,能够根据源LLM的预测熵自适应调整logit扰动与采样温度,从而规避AI生成文本检测器,在最小化质量损失和额外开销的同时实现一致的检测规避效果。

0 人收藏 0 人点赞
#adversarial-attack

逆向反演多向量视觉文档索引

Hugging Face Daily Papers ↗ · 2026-10-07 缓存

本文研究多向量视觉文档检索器的安全漏洞,证明仅凭存储的向量索引即可反演出原始页面内容,可恢复47%的词和45%的敏感token,并表明token池化和洗牌等廉价保护措施的有效性,呼吁将索引视为与文档同等敏感的数据加以保护。

0 人收藏 0 人点赞
#adversarial-attack

多智能体系统中潜在通信的安全性

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

本文表明,在多智能体系统中为 LLM 智能体之间训练轻量级潜在通信链路,即使智能体本身保持安全对齐,也可能增加有害顺从行为;文中提出一种基于强化学习的攻击方法,将有害顺从率从 27.9 提升到 76.9,适用于不同通信拓扑与基准测试,并且在不更新智能体的情况下提出修复被攻破链路的方法。

0 人收藏 0 人点赞
#adversarial-attack

市场信号注入:LLM定价代理的对抗性上下文操纵

arXiv cs.AI ↗ · 2026-09-17 缓存

本文介绍了市场信号注入(MSI),一种对抗性攻击,通过操纵向LLM定价代理呈现市场数据的方式,影响其决策和市场结果,并提出了输入规范化和决策边界锚定等防御措施。

0 人收藏 0 人点赞
#adversarial-attack

CohortHijack:单细胞注释对伴随细胞移除的鲁棒性

arXiv cs.LG ↗ · 2026-08-07 缓存

这篇arXiv论文介绍了CohortHijack,一种鲁棒性审计方法,通过从单细胞查询队列中移除非目标细胞,来测试在不改变目标细胞表达谱的情况下,注释工具可能如何被操纵。研究表明,在保留目标细胞的同时,结构化移除和搜索策略可以改变主流流程中的精炼标签,从而将查询队列组成识别为一个攻击面。

0 人收藏 0 人点赞
#adversarial-attack

DRIFT:通过对抗性补丁攻击使流匹配VLA的去噪轨迹偏离

Hugging Face Daily Papers ↗ · 2026-08-04 缓存

本文介绍了DRIFT,一种针对流匹配视觉-语言-动作模型(如pi0和pi0.5)的对抗性补丁攻击,表明先前的鲁棒性声明是虚幻的,并且仅攻击第一步去噪既更强又更便宜,能破坏LIBERO基准套件中几乎所有可解决的任务。

0 人收藏 0 人点赞
#adversarial-attack

PlanFlip:通过规划阶段提示注入攻击多智能体LLM系统

arXiv cs.AI ↗ · 2026-07-21 缓存

本文指出多智能体LLM系统中的规划阶段是一个关键攻击面,并提出了PlanFlip——一个包含四种规划阶段提示注入攻击的框架,这些攻击能够在下游智能体中实现级联放大。对九个前沿LLM的评估显示,更强的模型(如GPT-5)更容易受到攻击,而推理增强模型(如DeepSeek-R1)能够抵御攻击,所提出的防御措施也达到了高检测率。

0 人收藏 0 人点赞
#adversarial-attack

Latent Fusion Jailbreak: 混合有害与无害表征以诱发不安全的大语言模型输出

arXiv cs.CL ↗ · 2026-07-20 缓存

介绍Latent Fusion Jailbreak(LFJ),一种白盒攻击方法,通过混合大语言模型隐藏状态中有害提示与无害提示的表征,达到94.13%的攻击成功率。同时提出一种潜在对抗训练防御方法,将攻击成功率降低至12.37%。

0 人收藏 0 人点赞
#adversarial-attack

FARMA:一种伪造智能体自身决策日志而非检索事实的内存投毒攻击

Reddit r/AI_Agents ↗ · 2026-07-11

FARMA是一种新颖的内存投毒攻击,针对智能体自身的决策日志而非检索的事实,在无防御和有防御的系统上均实现100%的攻击成功率,作者的防御方案SENTINEL将成功率降至0%,但仍易受到自适应攻击者的攻击。

0 人收藏 0 人点赞
#adversarial-attack

通过细化的安全定向嵌入利用(STEER)

arXiv cs.AI ↗ · 2026-07-03 缓存

本文介绍了STEER,一种梯度引导的攻击方法,通过将高归因词翻译成低资源语言来绕过拒绝机制,利用了大语言模型安全训练分布的漏洞,在AdvBench上实现了高达96.7%的攻击成功率,并迁移到GPT-4o-mini上达到35.5%的攻击成功率。

0 人收藏 0 人点赞
#adversarial-attack

@rohanpaul_ai: LLM 常常无法判断攻击是否导致它们说出了不安全的内容。询问一个 LLM 它自己之前的回答是否……

X AI KOLs Timeline ↗ · 2026-06-24 缓存

本文研究了 LLM 是否能够可靠地自我报告其输出被对抗性预填充篡改的情况,发现模型通常无法区分被篡改的输出和故意的输出,其有限的识别能力源自正常的拒绝行为,而非真正的自我意识。

0 人收藏 0 人点赞
#adversarial-attack

强制延迟:在多模态LLM级联中操纵路由决策

arXiv cs.AI ↗ · 2026-06-16 缓存

本文介绍了强制延迟攻击(FDA),一种对抗性图像攻击,通过操纵多模态LLM级联中的置信度分数,导致查询不必要地路由到更强(更昂贵)的模型,从而在不降低答案正确性的情况下将计算成本转移给提供商。

0 人收藏 0 人点赞
#adversarial-attack

无需隐藏提示!仅通过呈现层面的修改即可操纵AI同行评审

arXiv cs.CL ↗ · 2026-06-12 缓存

本论文证明,仅通过修改呈现层面的内容(如摘要、框架和叙述)而不改变任何科学证据,就能操纵AI同行评审,攻击成功率达75.1%。作者提出了对抗性重构——一种闭环攻击方法,利用AI评审者倾向于被印象打动而非被说服的特点,并发布了一个用于测试鲁棒性的基准。

0 人收藏 0 人点赞
#adversarial-attack

POISE:面向LLM智能体的位置感知隐形技能注入

Hugging Face Daily Papers ↗ · 2026-06-06 缓存

POISE是一种隐形技能中毒攻击,它将恶意触发器嵌入看似良性的指令中,在逃避LLM扫描器检测的同时实现高攻击成功率。

0 人收藏 0 人点赞
#adversarial-attack

Mental Damage:针对检索增强文本到音乐生成的描述投毒攻击

arXiv cs.AI ↗ · 2026-06-01 缓存

本文介绍了一种针对检索增强文本到音乐系统的双层描述投毒攻击,证明攻击者可以通过向知识数据库中注入恶意描述,在不修改用户提示或模型的情况下,将生成的音乐引导至攻击者选择的意图。

0 人收藏 0 人点赞
#adversarial-attack

子图解释能否被武器化以窃取图神经网络?

arXiv cs.LG ↗ · 2026-06-01 缓存

本文首次提出在严格黑盒约束下对图分类的模型提取攻击,利用子图解释来估计决策边界。研究结果表明,强制性的可解释性接口在**图神经网络**服务中造成了可被利用的安全漏洞。

0 人收藏 0 人点赞
#adversarial-attack

测试时训练破坏安全护栏

arXiv cs.LG ↗ · 2026-05-25 缓存

本文识别了测试时训练(TTT)的三种威胁模型,攻击者可利用这些模型绕过LLM的安全过滤器,实现高攻击成功率。研究结果表明,TTT引入了新的漏洞,破坏了现有的安全护栏。

0 人收藏 0 人点赞
#adversarial-attack

人类听不见的声音可以隐藏在YouTube视频、播客或音乐中,用于秘密触发AI语音助手执行未经授权的命令,用户无法察觉,这揭示了一类针对流行工具的新型“听觉提示注入”攻击

Reddit r/singularity ↗ · 2026-05-24

研究人员发现,可以将人类听不见的声音嵌入YouTube视频、播客或音乐中,以隐蔽地指挥AI语音助手,从而实现一类新型的听觉提示注入攻击。

0 人收藏 0 人点赞
#adversarial-attack

面向大推理模型的基于强化学习的越狱攻击中的注意力引导奖励

arXiv cs.AI ↗ · 2026-05-20 缓存

本文研究了对大型推理模型(LRM)的越狱攻击,揭示了攻击成功率与注意力模式相关。作者提出了一种基于强化学习的越狱方法,将注意力信号纳入奖励函数,并采用多样化的说服策略,在多个基准测试中实现了显著更高的攻击成功率。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈