人类听不见的声音可以隐藏在YouTube视频、播客或音乐中，用于秘密触发AI语音助手执行未经授权的命令，用户无法察觉，这揭示了一类针对流行工具的新型“听觉提示注入”攻击

Reddit r/singularity 新闻
security voice-assistant audio-attack prompt-injection adversarial-attack youtube podcast

摘要

研究人员发现，可以将人类听不见的声音嵌入YouTube视频、播客或音乐中，以隐蔽地指挥AI语音助手，从而实现一类新型的听觉提示注入攻击。

暂无内容
查看原文

相似文章

语音AI系统易受隐藏音频攻击

Hacker News Top

新研究表明，不易察觉的音频信号能以79-96%的成功率劫持大型音频语言模型（LALMs），迫使其执行未经授权的命令，如网络搜索或发送电子邮件。这种被称为AudioHijack的技术针对生成式模型，无论用户输入如何都能生效，对语音AI系统构成严重安全风险。

理解提示词注入：AI安全的前沿挑战

OpenAI Blog

OpenAI发布了关于提示词注入攻击的指导，这是一种社会工程漏洞，恶意指令可以隐藏在网页内容或文档中，诱骗AI模型执行意外操作。该公司概述了其多层防御策略，包括指令层级研究、自动化安全测试和AI驱动的监控系统。

你就是触发器：说话人激活后门

arXiv cs.LG

这篇论文提出「说话人激活后门」(SAB)设置，攻击者在微调阶段仅用目标说话人约两分钟的自然语音即可植入后门，使该说话人的声音本身成为触发器，在Whisper-medium和Parakeet上分别达到90.2%和97.0%的后门成功率，且触发在转写层不可见，还能向GPT-4o和Claude等下游LLM代理注入恶意指令。