Sponsio：面向LLM Agent的确定性合约层 [P]

Reddit r/MachineLearning 工具
contract-layer tool-call-boundary llm-agents open-source deterministic production

摘要

Sponsio是一个开源确定性合约层，用于强制执行LLM Agent的工具调用边界和规则，解决了提示工程和事后审计无法完全解决的生产可靠性问题。

我们一直在尝试将LangGraph Agent投入生产。一直困扰我们的是工具调用边界的强制问题：例如“必须在Y之前调用X”、“最多重试N次”、“在执行破坏性操作前需审批门控”。演示时一切正常，但在关键时刻却出了问题。我们首先尝试了提示工程：告诉模型“始终在 `issue_refund` 之前调用 `check_policy`”。大约95%的情况下有效。但剩下的5%正是审计人员会过问的情况。当有人想知道为什么退款通过时，这可不是一个好答案。事后审计（OTEL + 日志）能在事后发现违规，但副作用已经发生。为退款退款很尴尬。将所有逻辑整合到工作流引擎中（Temporal，或最近的nano-vm）提供了强保证，但需要针对其运行时重写Agent，对我们来说成本太高。最终我们采用的方法：在工具边界处使用合约层。YAML规则，确定性评估，在工具调用提交前执行。已开源为Sponsio。仓库：[github.com/SponsioLabs/Sponsio](http://github.com/SponsioLabs/Sponsio) 欢迎任何在生产环境中运行Agent的人提供反馈。
查看原文

相似文章

基于合约的LLM代理符号时间监督

arXiv cs.AI

本文介绍了ContrAgent，一个基于合约的框架，用于对LLM代理进行符号时间监督，确保在在线和离线模式下以低延迟执行确定性安全检查。

Contract2Tool：学习前提与效果以实现可靠的工具增强型LLM代理

arXiv cs.AI

本文介绍了Contract2Tool，一个从工具元数据、文档和执行轨迹中自动推断轻量级工具契约（前提条件、效果、风险）的框架，为LLM代理实现可靠的因果工具过滤。实验表明，学习到的契约在下游多步骤代理任务中达到了接近黄金契约的性能，同时显著减少了token使用量。