构建确定性工作流的AI Agent

我在一家小型公司工作，一直很享受为自己和团队自动化工作流的过程，最初是多年前从宏开始，接着是Python，而过去一年则是Agent。但虽然这很有趣，但大多数需要自动化的东西实际上并不需要每次运行都有一个Agent。这是确定性的内容，每次手动做太繁琐或耗时，可能中途需要1到2个判断，但过程总是相同的。所以过去几个月，我们一直在实验自己的“自动化平台”，这是一个组合，包括构建自动化的一个AI Agent（使用Claude或ChatGPT订阅，因此无需担心token成本），以及一个“工作流和运行时管理层”，用于捕获错误、跟踪问题、管理凭证等。Agent以一种非常特定的结构编写自动化，在每一步都测试所有内容，编写输入和输出验证，记录其工作方式等。如果某一步骤失败，平台会捕获它并提醒所有者进行审查，如果Agent需要修复某些内容，它会分析问题，提出计划并获得批准后再行动，而不是自行其是。一个典型的自动化构建使用的token数量是让AI Agent单独做一次的2到3倍，但之后它要么是100%代码，要么可能有一些简单的AI步骤，在廉价模型上花费几千token。我们认为与他人分享、获得一些反馈并构建一个可以用于越来越多事情的东西会很酷，但因为它不仅仅是一个工具，所以在推出之前需要一些润色。所以为了判断如何优先考虑它，我想问是否有人做过类似的事情？你认为这可能有用吗——以及你的顾虑是什么？