有没有人找到一种可靠的方法来扫描智能体技能中的安全风险,而不被误报淹没?我希望找到一种能区分真正不安全行为与合法工具使用的方案,而不是仅仅标记任何看起来可疑的东西。

Reddit r/AI_Agents 新闻

摘要

用户对现有的扫描AI智能体技能安全风险的方法感到沮丧,因为误报率高且审查无效,正在寻求更可靠的推荐方法,以区分安全与不安全行为。

我们花了太多时间研究在使用前检查智能体技能的方法,但我仍然对其中任何一种都不太满意。AI审查可能被它审查的东西进行提示注入,扫描器会标记技能合法需要执行的操作,而且许多发现最终还是需要手动审查。我们看过的每种方法似乎都有自己的问题版本。我不指望完美的安全,只希望有些东西能节省我们一些工作,而不总是标记无害的东西。有没有人真的做到了让他们满意的地步?很想听听对其他人有效的方法,因为我们有点在原地打转。
查看原文

相似文章

Skill Inspector

Product Hunt

Skill Inspector 是一款开发者工具,可审计 AI 代理技能,帮助防范恶意软件风险。