构建AI代理工具调用的开源执行层

Reddit r/AI_Agents 工具
open-source ai-agents runtime-enforcement tool-calls security policy-enforcement guardrails

摘要

介绍Faramesh，一个开源运行时执行层，用于AI代理工具调用，在操作执行前检查策略，提供超越可观测性或LLM评判的解决方案。

公平声明：我正在构建Faramesh，一个用于AI代理的开源运行时执行层。我并不想把它伪装成一篇“好奇大家怎么看”的帖子。简而言之：代理尝试调用工具时，首先检查策略，然后执行、阻止或发送给人类。我们开始做这个是因为觉得执行层还不够成熟。代理变得越来越强大，与真实工具的连接越来越多，但解决方案似乎主要还是“事后观察”（可观测性）或“希望代理表现良好”（LLM评判或干脆什么都不做）。这个领域现在变得拥挤起来，但很多方案只是日志、提示护栏、沙箱或另一个LLM来评判第一个LLM。这些可能有用，但并不能真正在操作执行前阻止它。如果代理即将给客户发邮件、调用生产环境API、转账、删除文件等，我不希望控制层只是祈祷它做出正确决定。我想要的是在操作执行之前，一个确切的中间层说“是/否/需要审批”（同时提供凭据代理，这样你的代理就不会接触到机密信息）。这也是我们将其开源的部分原因。更容易展示代码，让我们的解决方案保持透明。仓库链接在评论区 :)
查看原文

相似文章

开源用于AI代理的Shell级别安全层

Reddit r/AI_Agents

开源一个Shell级别的控制层，该层阻止危险命令、暴露虚假秘密并强制执行运行时策略，使AI代理在开发环境中更安全、更确定。

AgentWall：面向本地AI代理的运行时安全层

arXiv cs.AI

本文介绍了AgentWall，一个面向本地AI代理的运行时安全层。它能在执行前拦截操作、执行声明性策略、对敏感操作要求人工审批，并记录防篡改的操作轨迹。该项目开源，支持多个代理平台。