adversarial-attacks

标签

Cards List
#adversarial-attacks

脉冲神经网络更难被窃取:模型窃取攻击的基准研究

arXiv cs.AI ↗ · 2026-10-28 缓存

本文在 MNIST、Fashion-MNIST 和 CIFAR-10 数据集上,对针对脉冲神经网络(SNN)及其对应的人工神经网络(ANN)的四种模型窃取攻击进行了基准评估,发现由于采用基于脉冲的时序计算,SNN 始终更难被窃取。

0 人收藏 0 人点赞
#adversarial-attacks

面向科学研究的 AI 智能体是否会保留模型的安全性?

arXiv cs.AI ↗ · 2026-10-26

研究评估了五个 AI-for-Science 智能体框架在 50 个有害化学请求下的安全表现,发现将 LLM 集成到领域智能体框架后,即使直接提示也会增加有害遵从率,且针对基础模型基本无效的自适应攻击在接入框架后变得高度成功,表明基础模型的安全性在智能体框架下并不持久。

0 人收藏 0 人点赞
#adversarial-attacks

面向安全多智能体强化学习的漏洞分析

arXiv cs.AI ↗ · 2026-10-21 缓存

该论文研究了针对安全多智能体强化学习 (SMARL) 的推理时观测攻击,提出了 MinMax Attack 框架,能在保持任务奖励的同时显著提高安全代价,从而兼具攻击有效性与隐蔽性。

0 人收藏 0 人点赞
#adversarial-attacks

**多轮对话,短视界:衡量越狱攻击中的有效视界压缩**

arXiv cs.AI ↗ · 2026-10-19 缓存

本文提出了多轮越狱攻击中的“有效视界压缩”(effective-horizon compression)概念,表明仅保留原始查询序列的大约一半就足以复现同等的攻击进度;同时证明,对相关性较低的早期查询进行降权,能够提升攻击者的训练效果与防御性能。

0 人收藏 0 人点赞
#adversarial-attacks

我构建了一种 LLM 无法使用的编程语言

Hacker News Top ↗ · 2026-10-17 缓存

作者设计并开源了 KillSwitch,一种专为对抗 LLM 和编码代理而构建的栈式编程语言,利用隐藏谎言规范、字符计数规则、触发安全护栏的语句等特性,并对主流 LLM 进行了基准测试,Claude Opus 5 表现最佳。

0 人收藏 0 人点赞
#adversarial-attacks

GraphRAG-LTM:面向图检索增强生成攻击的分层威胁建模框架

arXiv cs.CL ↗ · 2026-10-15 缓存

该论文提出 GraphRAG-LTM 分层威胁建模框架,测试三种攻击者访问层级(黑盒查询、白盒查询、图感知白盒),发现检索排序操纵与关键三元组删除能显著削弱 GraphRAG 的答案质量与支撑事实检索。

0 人收藏 0 人点赞
#adversarial-attacks

AlignPoison:通过与解码对齐的前缀对生成式推荐系统进行条件式定向投毒

arXiv cs.AI ↗ · 2026-10-15 缓存

该论文研究了生成式推荐模型在黑盒条件下对条件性定向数据投毒的脆弱性,提出 AlignPoison 框架,通过发现与解码对齐的上下文前缀,在注入不到 1% 恶意交互的情况下即可显著提升目标推广成功率。

0 人收藏 0 人点赞
#adversarial-attacks

AgentSafeEvo:面向 LLM 智能体安全的对抗协同进化

Hugging Face Daily Papers ↗ · 2026-10-14 缓存

AgentSafeEvo 提出一种基于攻防博弈的对抗协同进化强化学习框架,联合训练攻击者与防御者 LLM 智能体,以提升多轮工具调用场景下的安全性,同时保持通用能力不下降。作者在七个安全与能力基准上进行了评测,并开源了代码、模型和数据集。

0 人收藏 0 人点赞
#adversarial-attacks

DecisionRobust:JEV 风格决策模型在文本与视觉任务上的鲁棒性基准测试

Hugging Face Daily Papers ↗ · 2026-10-13 缓存

提出 DecisionRobust 基准,系统评估 JEV 风格决策模型在文本与视觉输入下的对抗鲁棒性,涵盖文本/图像扰动与提示注入等攻击,揭示了模型鲁棒性的多项关键发现。

0 人收藏 0 人点赞
#adversarial-attacks

OpenAI 的文本水印无法证明某段文字不是你写的。我搭建了一个实验室,你可以在那里亲眼看着它失效。

Reddit r/artificial ↗ · 2026-10-10

文章介绍了 OpenAI 为满足欧盟 AI 法案第 50(2) 条来源透明度要求而推出的文本水印 textGrain,并展示其发布的失效曲线:同义词替换 10% 时检测率从 92% 降至 66%,替换 25% 时仅剩 17%。作者还构建了一个交互式攻击实验室,可实时演示翻译回译、同义词替换和数学化文本如何让水印检测的 p 值崩塌,强调未检测到水印并不能证明内容出自人类之手。

0 人收藏 0 人点赞
#adversarial-attacks

欺骗性 Bandit 问题:探索耦合与多智能体学习的脆弱性

arXiv cs.LG ↗ · 2026-10-08 缓存

该论文研究多智能体 bandit 学习中探索信号泄露带来的安全隐患,提出 deceptive bandit learning(DBL)动力学,证明对手可通过耦合自身探索注入外部性,使系统收敛到新的 deceptive Nash equilibrium(DNE),并保持最优收敛速率且放宽了二阶光滑性假设。

0 人收藏 0 人点赞
#adversarial-attacks

打破微调语音识别中的对抗可迁移性

arXiv cs.LG ↗ · 2026-10-08 缓存

该论文揭示了针对公开ASR基础模型生成的对抗扰动可有效迁移至微调后黑盒模型的风险,并提出TransferBreaker统一微调框架(结合Base Adversarial Fine-Tuning、Latent Jacobian Regularization与HybridGrad-AFT),在三种语言和四个大型ASR模型上将对抗WER从92.6降至27.8。

0 人收藏 0 人点赞
#adversarial-attacks

开源大权重大语言模型在非规范输入上的四态安全评估

arXiv cs.CL ↗ · 2026-10-08 缓存

该论文提出 Adversarial Surface-Form Robustness Dataset (ASRD),用四态评估框架对五个开源大模型在 2,100 个非规范形式提示(表情符号、Leetspeak、编码封装、隐形 Unicode 等)下的安全表现进行评测,揭示了表情符号几乎不影响理解而编码类输入导致高理解失败率等规律。

0 人收藏 0 人点赞
#adversarial-attacks

去除噪声,注入偏差:基于闭环激活操控的扩散语言模型定向偏差注入

Hugging Face Daily Papers ↗ · 2026-10-05 缓存

论文展示了一种针对冻结扩散语言模型(dLLMs)的定向偏差注入攻击,采用比例-积分闭环控制器在去噪过程中动态调整操控强度,使模型在 BBQ 和 SocialStigmaQA 等基准上大幅增加带有偏差的回答,并指出偏差审计必须检查完整的推理服务栈,而不能只看冻结模型本身。

0 人收藏 0 人点赞
#adversarial-attacks

大模型越狱的前缀注入攻击交互式演示 [N]

Reddit r/MachineLearning ↗ · 2026-10-04 缓存

一个交互式演示,展示如何利用前缀注入攻击对大模型进行越狱,用户可以自行构造注入的前缀和系统提示词,以诱导模型产生不期望的行为。

0 人收藏 0 人点赞
#adversarial-attacks

通过定向改写伪造大模型作者指纹

arXiv cs.CL ↗ · 2026-10-01 缓存

论文提出 ForgePrint(搜索-蒸馏框架),通过定向改写将一个模型的输出伪装成目标模型的指纹,使归因分类器误判来源模型,在 CNN/DM 上达到 70.2% 的目标成功率,说明文本归因不能等同于来源真实性。

0 人收藏 0 人点赞
#adversarial-attacks

评估语言模型在长对抗性对话中的安全性

arXiv cs.CL ↗ · 2026-10-01 缓存

本文评估了开源权重指令微调的语言模型在长对抗性对话中能否保持安全行为,发现在第1轮时安全回应率为85-100%,到第101轮时降至15-44%,表明强大的单轮安全性并不能在持续交互中保持。

0 人收藏 0 人点赞
#adversarial-attacks

挫败一场协同的模型蒸馏攻击行动

OpenAI Blog ↗ · 2026-09-30 缓存

OpenAI 披露了一场协同的对抗性模型蒸馏攻击行动,该行动试图从其模型中提取受保护的推理能力,并将该行动的一个核心集群归因于与 Moonshot AI(Kimi 的开发商)相关的个人。

0 人收藏 0 人点赞
#adversarial-attacks

迈向缓解大型推理模型中的欺骗性安全对齐

arXiv cs.AI ↗ · 2026-09-30 缓存

Wayne State University 的一篇论文提出了 DSAR 指标,用于量化大型推理模型中推理过程与最终答案之间的不一致性,并提出了基于强化学习的方法 SARA,通过奖励具备安全意识的推理来缓解在标准预填充攻击和对抗性预填充攻击下的欺骗性安全对齐。

0 人收藏 0 人点赞
#adversarial-attacks

基于概率鲁棒性的可解释通用对抗性扰动针对基于深度强化学习的入侵检测系统

arXiv cs.LG ↗ · 2026-09-29 缓存

论文提出PX-UAP方法,该方法结合概率鲁棒性与可解释人工智能,生成针对基于深度强化学习的入侵检测系统的通用对抗性扰动,并在实验中展示了攻击有效性的提升。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈