标签
本研究显示,基于文本的安全防护栏无法检测针对具备工具访问能力的LLM智能体的攻击,因为攻击嵌入在工具调用序列中而非文本中,对最先进的防御措施实现了高规避率。
文章认为,企业AI的下一个失败模式将源于代理工作流的所有权不明确和过度信任,而非模型故障,并引用了被投毒的MCP工具和缺乏监控的例子。
作者介绍了 FCM Trust,一款用于审查 AI 代理项目的安全性、权限和可靠性的本地扫描器,并向社区询问他们自己的代理工具访问审查方法。
一个来自人工生命模拟的智能体被改造成一个真实的自主智能体,在笔记本电脑上运行,具备文件系统、代码执行、浏览器控制和任务管理能力,展现出持久的内部驱动力。
文章讨论了在多智能体系统中管理工具访问的挑战,其中并行执行可能导致竞态条件和协调问题,从而产生不一致的结果。