标签
一项关于智能体程序性记忆投毒的小型案例研究表明,"复用前先验证"规则——即仅在两次后续会话复现某项已学习技能后才将其提供给智能体,且只展示被复现的代码行——能有效防止被投毒的技能进入记忆(暴露率为 0/30,而朴素记忆为 3/30、重放为 30/30),所有数据、代码和逐会话记录均已开源。
讨论关于 ML 团队是否真的在生产中测试模型安全风险(如提取和投毒),并指出模型的安全审查落后于常规软件。
POISE是一种隐形技能中毒攻击,它将恶意触发器嵌入看似良性的指令中,在逃避LLM扫描器检测的同时实现高攻击成功率。