人类听不见的声音可以隐藏在YouTube视频、播客或音乐中，用于秘密触发AI语音助手执行未经授权的命令，用户无法察觉，这揭示了一类针对流行工具的新型“听觉提示注入”攻击

Reddit r/singularity 新闻
security voice-assistant audio-attack prompt-injection adversarial-attack youtube podcast

摘要

研究人员发现，可以将人类听不见的声音嵌入YouTube视频、播客或音乐中，以隐蔽地指挥AI语音助手，从而实现一类新型的听觉提示注入攻击。

暂无内容
查看原文

相似文章

语音AI系统易受隐藏音频攻击

Hacker News Top

新研究表明，不易察觉的音频信号能以79-96%的成功率劫持大型音频语言模型（LALMs），迫使其执行未经授权的命令，如网络搜索或发送电子邮件。这种被称为AudioHijack的技术针对生成式模型，无论用户输入如何都能生效，对语音AI系统构成严重安全风险。

理解提示词注入：AI安全的前沿挑战

OpenAI Blog

OpenAI发布了关于提示词注入攻击的指导，这是一种社会工程漏洞，恶意指令可以隐藏在网页内容或文档中，诱骗AI模型执行意外操作。该公司概述了其多层防御策略，包括指令层级研究、自动化安全测试和AI驱动的监控系统。