标签
VEPA 是一个用于对 LLM 智能体的形式化护栏进行可验证演化的框架,采用由 LLM 提出的符号化策略补丁,并通过确定性验证器和具备证据感知能力的权限层进行验证,在智能体安全性与信息安全基准测试中优于基线方法。
Hibana 是一个 Rust crate,它允许程序根据一个全局编舞(choreography)执行多角色有限协议,将编舞投影为每个角色的紧凑程序,并在 no_std、无分配器的运行时中强制每个 send/recv/route 步骤都符合协议。它支持最多 256 个角色、异步操作与仿射端点,适用于托管环境和嵌入式目标。
本文测试了针对Agent工具调用的多层运行时安全门(确定性规则加上LLM判定器)是否会相互独立地失效。研究发现,规则+判定器两层的组合效果相当于约1.9至2.1层的安全防护,而两个LLM判定器的组合效果仅为约1.2至1.5层,原因是它们的失效存在高度相关性。
# 为 AI 智能体构建运行时治理层 一位开发者描述了他为 AI 智能体构建的运行时治理层:通过**密码学密封**(cryptographic sealing)与**仅追加的版本注册表**(append-only version registry)来固定契约的不可变性;通过程序化声明,支持无契约的动态生成智能体;并在此之上加入**凭据网关**(credential gateway)与 **CI lint**,作为第三道强制约束防线。
一位从业者询问团队如何在运行时对自主智能体强制执行安全护栏,而不是依赖无法落地的政策文档,涉及智能体何时应自主行动、何时需要人工审批才能操作生产数据和执行外部操作。
Docker Captain Karan Verma 解释了为何 AI 治理必须在运行时强制执行,而非依赖提示词,并分解了执行边界、工具边界和资源边界,这些边界能够增强开发者在自主代理方面的信心。
本文识别了工具使用型LLM智能体中的一种静默故障模式,其中策略违规发生时既无工具错误,也无智能体自我报告。作者提出并评估了轻量级确定性预执行门控机制,该机制在τ²-bench航空领域显著减少了此类故障。
一个在运行时强制指令/数据分离以保护代理系统免受提示注入攻击的网关
介绍Faramesh,一个开源运行时执行层,用于AI代理工具调用,在操作执行前检查策略,提供超越可观测性或LLM评判的解决方案。
本文介绍了一种自主代理的运行时执行模型,该模型强制执行'重构性权威'——仅当从当前状态能构建出权威时,才允许执行动作。该模型包括动态依赖解析、针对不确定性的暂停状态以及集成漂移检测的恢复循环。