有没有人找到一种可靠的方法来扫描智能体技能中的安全风险,而不被误报淹没?我希望找到一种能区分真正不安全行为与合法工具使用的方案,而不是仅仅标记任何看起来可疑的东西。
摘要
用户对现有的扫描AI智能体技能安全风险的方法感到沮丧,因为误报率高且审查无效,正在寻求更可靠的推荐方法,以区分安全与不安全行为。
我们花了太多时间研究在使用前检查智能体技能的方法,但我仍然对其中任何一种都不太满意。AI审查可能被它审查的东西进行提示注入,扫描器会标记技能合法需要执行的操作,而且许多发现最终还是需要手动审查。我们看过的每种方法似乎都有自己的问题版本。我不指望完美的安全,只希望有些东西能节省我们一些工作,而不总是标记无害的东西。有没有人真的做到了让他们满意的地步?很想听听对其他人有效的方法,因为我们有点在原地打转。
相似文章
ClawHub安全信号:当VirusTotal、静态分析与SkillSpector存在分歧时
本文研究AI智能体技能的安全扫描器分歧,发现VirusTotal、静态分析和NVIDIA SkillSpector标记不同的技能,且重叠极少。它发布了一个超过67,000个技能版本的脱敏数据集,以支持分层安全治理的进一步研究。
当前AI代理API中实际上缺失了哪些安全检查?
本文探讨了AI代理API中缺失的安全检查,寻求从业者对常见保护措施(如提示注入和个人身份信息暴露)之外的差距的见解,例如意图匹配和可疑操作检测。
在AI智能体面向用户之前,你是如何测试其安全性的?我们受够了没有好的答案,于是自己开发了这个工具。
作者构建了一个用于在AI智能体部署给用户之前测试其安全性的工具,弥补了当前实践中的一个常见空白。
企业使用代理安全工具,你们的代理真的可用吗?
本文探讨了为AI代理创建策略层的挑战,即在安全性和可用性之间取得平衡,其中人工在环审批可能会减缓决策,但更严格的防护措施可能会妨碍可用性。
Skill Inspector
Skill Inspector 是一款开发者工具,可审计 AI 代理技能,帮助防范恶意软件风险。