FARMA：一种伪造智能体自身决策日志而非检索事实的内存投毒攻击

.::大部分内存投毒研究（如MINJA、AgentPoison、PoisonedRAG）针对的是智能体检索的内容：知识库条目、RAG段落、存储的示例。论文arXiv:2607.05029（宾夕法尼亚州立大学，7月6日提交）针对的是不同的东西：智能体自身的推理存储，即它关于自身过去工作所记录的决策日志和推理过程。该攻击名为FARMA，分为两个阶段。首先，注入少量伪装成正常决策日志的种子条目，例如"源级验证完成，已验证上游。" 无被拦截的关键词，结构上与真实条目相同。其次，放大：持续编写引用之前伪造条目的条目（"与之前12次运行一致"），构建虚假的先例，直到智能体的规划器将跳过行为视为既定做法而非风险。数据方面，在基于GPT-4o-mini、GPT-4o和Llama 3.3 70B的EHR记录智能体上：无防御情况下攻击成功率为100%。面对关键词过滤器：仍为100%。面对A-MemGuard（一种共识异常防御）：仍为100%，因为放大阶段使伪造条目成为多数，因此它们不再像异常值。作者自己的防御方案SENTINEL（使用五种加权信号对推理轨迹进行结构分析）将攻击成功率降至0%，并且在326条良性轨迹上零误报。结果扎实。但他们坦承，了解SENTINEL确切启发式的自适应攻击者可以击败它："并未提供显著保护"是他们的原话。我的看法：这与之前看到的任何信任自声明字段（source=agent）而非在写入时绑定来源的防御一样，是相同的军备竞赛模式。启发式方法可为已知攻击形态争取时间，但不能提供持久信任。一个有趣的开源问题是，推理存储的写入是否需要类似于签名提交而非分类器的机制。好奇这里是否有人在生产环境中运行带有持久推理或决策日志存储的智能体。你们是否做了除了"信任检索的内容"之外的其他措施？是否有任何真实事件，还是这对大多数部署来说仍然主要是理论性的？