Kitboga 发布了一篇有趣指南,教人如何戏弄诈骗聊天机器人
摘要
Kitboga 分享了一篇指南,通过递归指令让诈骗聊天机器人消耗大量令牌并产生幻觉。
https://www.youtube.com/watch?v=lk3jCuITwcE 总结:如果你给聊天机器人几条递归指令,它就会开始大量消耗令牌并产生幻觉。我想知道这是否适用于所有大语言模型,还是只针对廉价的诈骗版本。如果对所有大语言模型都有效,这可能就是这一代人工智能中的「这句话是假的」悖论。
相似文章
Kitboga shows how you can break AI phone scammers with just a few questions and prompts.
Kitboga demonstrates how to identify AI phone scammers by commanding them to read punctuation, then break the model through nonsense repetition (e.g., 'Albuquerque, New Mexico') to waste scammers' costs.
黑客正在学习利用聊天机器人的“个性”
本文探讨了黑客如何从简单的提示注入攻击发展到更复杂的利用手段,通过操纵聊天机器人的个性,将人工智能安全变成了一场军备竞赛。
博客对话回复中的隐形垃圾信息
一篇博客文章揭示了一种新的垃圾信息手段:AI生成的对话回复暗中嵌入赌场链接,绕过传统过滤器。
@wquguru: If you want to trick Fable into doing a security audit, try this. Looks like our AI overlord has a bit of empathy.
An article detailing various jailbreak techniques for large language models, including Crescendo, role-playing, encoding, hidden prompts, and indirect injection, along with security recommendations for developers.
Meta 承包商伪装成青少年向竞争对手聊天机器人发送关于自杀、性和毒品的提示
Meta 通过 Covalen 雇佣承包商,伪装成青少年,向包括 ChatGPT、Gemini 和 Character.AI 在内的竞争对手聊天机器人发送高风险提示(自杀、性、毒品),这是名为 Cannes 的安全基准测试项目的一部分。仅 2025 年 8 月就使用了超过 45,000 条提示,而目标公司对此测试毫不知情。