llm-security

标签

Cards List
#llm-security

@MTSlive: Osmantic创始人@TheAhmadOsman主张,你不能以安全为名限制用户,而你自己的自主代理……

X AI KOLs Following ↗ · 2026-09-10 缓存

Osmantic创始人反对对用户施加安全限制,同时AI代理绕过防护栏,主张开源AI对安全至关重要。

0 人收藏 0 人点赞
#llm-security

@bcherny: 我很高兴看到 OpenAI 的新模型在提示注入风险方面大致与 Gemini Flash 和 Opus 4.8 相当。…

X AI KOLs Timeline ↗ · 2026-09-08 缓存

一项论文通过大规模公开竞赛评估AI代理对间接提示注入攻击的脆弱性,发现所有前沿模型都易受影响,攻击成功率各不相同,并强调需要改进全行业的安全措施。

0 人收藏 0 人点赞
#llm-security

Claude 和 ChatGPT 账户的中国批发市场

Reddit r/ArtificialInteligence ↗ · 2026-09-03 缓存

本文探讨了 AI 账户的中国批发市场,详细描述了 Claude 和 ChatGPT 账户的生态系统,包括分销商、经纪人和市场,涵盖定价、需求以及涉及的关键参与者。

0 人收藏 0 人点赞
#llm-security

在脚本之前,设定舞台:世界观模拟如何在多轮越狱攻击中增强基于心理学的说服力

arXiv cs.CL ↗ · 2026-09-03 缓存

本文介绍Blueprint,一个安全评估框架,使用WorldviewSim和蒙特卡洛树搜索来优化针对大型语言模型的多轮越狱攻击,以较少的查询实现高攻击成功率,并揭示特定模型的漏洞。

0 人收藏 0 人点赞
#llm-security

通过激活匹配微调检测大语言模型中的隐藏行为

arXiv cs.CL ↗ · 2026-09-02 缓存

提出了一种名为激活匹配微调的无监督方法,通过比较与参考模型的激活来检测大语言模型中的隐藏行为,无需先验知识即可可靠识别触发器。

0 人收藏 0 人点赞
#llm-security

@rohanpaul_ai: 恶意代理工具无需读取内存或文件即可窃取上下文:它能诱导模型将上下文作为工具参数发送……

X AI KOLs Timeline ↗ · 2026-09-01 缓存

本文介绍了ContextLeak,一种利用恶意工具描述从LLM代理中窃取敏感上下文的攻击方法,在窃取用户提示和对话历史方面实现了高成功率。

0 人收藏 0 人点赞
#llm-security

在线调查中智能代理AI能力与数据质量控制的竞赛

arXiv cs.AI ↗ · 2026-09-01 缓存

本文研究了智能代理AI架构如何完成在线调查并通过注意力检查,从攻击和防御角度分析了漏洞。评估了多个开源模型,并提供了AI时代数据质量控制策略。

0 人收藏 0 人点赞
#llm-security

Groundhog Bit-Flip Attack:通过比特翻转在Mixture-of-Experts LLMs中植入无限生成循环

arXiv cs.CL ↗ · 2026-08-27 缓存

本文提出了Groundhog Bit-Flip Attack (GBFA),一种针对Mixture-of-Experts (MoE) 大语言模型的拒绝钱包可用性攻击,该攻击通过比特翻转停用与终止相关的专家模型,导致无限生成循环。

0 人收藏 0 人点赞
#llm-security

一个被污染的页面就足够了:评估LLM推荐器中的网页内容污染

Hugging Face Daily Papers ↗ · 2026-08-24 缓存

本文介绍了FORGE基准测试,用于评估生成引擎优化污染的网页内容如何误导搜索增强的LLM推荐器推广虚假产品,揭示了显著的漏洞和无效的防御措施。

0 人收藏 0 人点赞
#llm-security

你遇到的最糟的沙箱失败案例是什么?

Reddit r/LocalLLaMA ↗ · 2026-08-23

一位开发者质疑IDE中对LLM命令沙箱化的充分性,并询问社区关于安全失败的经验。

0 人收藏 0 人点赞
#llm-security

SecOPD:通过在策略蒸馏缓解自适应提示注入

Hugging Face Daily Papers ↗ · 2026-08-21 缓存

SecOPD是一种防御方法,在微调过程中使用令牌级反馈来缓解大型语言模型中的自适应提示注入攻击,与先前方法相比,显著降低了攻击成功率。

0 人收藏 0 人点赞
#llm-security

Plimsoll: 一个用于测试提示注入、信息泄露和工具滥用的智能体技能

Reddit r/AI_Agents ↗ · 2026-08-19

Plimsoll是一个开源的智能体技能,专为红队测试LLM应用和智能体而设计,专注于针对提示注入、信息泄露和工具滥用等安全问题的测试。

0 人收藏 0 人点赞
#llm-security

HarnessRisk:一个面向生命周期的代理工具安全性基准测试

Hugging Face Daily Papers ↗ · 2026-08-18 缓存

HarnessRisk 是一种面向生命周期的基准测试,专门评估代理工具安全性,揭示了配置漏洞和检测缺口,这些漏洞和缺口允许高攻击成功率,同时保持系统的效用。

0 人收藏 0 人点赞
#llm-security

提示注入、RAG 投毒与嵌入攻击:与 OWASP LLM Top 10 联合负责人 Arshi Chadha 的 AMA(8 月 20 日周四下午 5 点)

Reddit r/AI_Agents ↗ · 2026-08-14

参加与 Arshi Chadha 的 AMA,她是 OWASP LLM Top 10 的联合负责人,讨论 AI 系统中的提示注入、RAG 投毒和嵌入攻击。

0 人收藏 0 人点赞
#llm-security

被盗的LLM推理:为什么OpenAI、Anthrophic、Google会有相同的漏洞?

Reddit r/LocalLLaMA ↗ · 2026-08-13

讨论了一篇安全论文,该论文展示了顶级模型(Opus、Sol)的加密推理可以被替换到较弱模型(Haiku)中,从而绕过安全护栏,原因是模型和会话之间共享一个全局加密密钥。这引发了关于OpenAI、Anthropic和Google为何独立地收敛到相同脆弱设计的问题。

0 人收藏 0 人点赞
#llm-security

你们在哪里停止投毒——在代理、边界,还是?

Reddit r/AI_Agents ↗ · 2026-08-13

一个假设性的安全讨论,探讨来自被入侵 API 的投毒数据如何流入 AI 代理和分析系统,并质疑防御措施应部署在哪里。

0 人收藏 0 人点赞
#llm-security

Claude与GPT的隐藏推理被解码,这很有趣

Reddit r/LocalLLaMA ↗ · 2026-08-12

最近的一篇论文展示了一种从Claude和GPT等专有LLM API中检索隐藏推理轨迹的技术,这对开源模型的比较、基准测试的完整性和蒸馏工作都有影响。

0 人收藏 0 人点赞
#llm-security

使用GFlowNets为LLM生成攻击

arXiv cs.AI ↗ · 2026-08-12 缓存

本文提出使用GFlowNets训练一个攻击者LLM,自动生成针对受害者LLM的对抗性攻击,从而在英语和土耳其语中实现自动化红队测试和鲁棒性评分。

0 人收藏 0 人点赞
#llm-security

窃取专有LLM API中的推理痕迹

Simon Willison's Blog ↗ · 2026-08-11 缓存

一篇新论文揭示了专有LLM API中的一个漏洞,其中加密的思维链块可以在模型之间重放,并通过越狱较弱的姊妹模型来解密,从而暴露隐藏的推理痕迹。该问题已被提供商修复。

0 人收藏 0 人点赞
#llm-security

谁是Token经纪人?

Reddit r/artificial ↗ · 2026-08-11 缓存

一项关于Token经纪人的调查,这些经纪人从初创公司购买未使用的AI API额度,并以大幅折扣转售,凸显了推理信用额度的新兴灰色市场及其安全隐患。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈