让AI自动化消失

# 消失 原文链接：https://replicated.live/blog/away ## 自动化自身 Escher：StarsA. Karpathy 曾说过，OpenAI 的研究人员通过改进 AI，实际上是在“自动化自身，直到消失”。现在我正用 Anthropic 的 Fable 开发 Beagle SCM，它确实是个才华横溢的模型，能在海量代码中找出瑕疵、提交工单、修复问题。但昨天，它居然两次把 `build/` 目录提交进了项目。它才华横溢，却也笨手笨脚。 由于 LLM 的本质，这个问题并不会随着它们进步而消失。它们往往不够精确，且非确定性。而 Ragel（https://www.colm.net/open-source/ragel/）这个解析器生成器，能瞬间**形式化地**生成一个 10 KLoC 的正确解析器，且具有确定性。那 Claude 呢？我的指令里用全大写写着：永远不要手动解析任何东西。那太折磨人，而且容易出错，千万别做。但它还是试图这么做，所以我定期让它扫描代码库，找出并删除任何手动解析的尝试。这基本能行。 它变得愈发才华横溢，却一点也没少笨手笨脚。 应对一个昂贵、缓慢、笨拙但才华横溢的 LLM 的方法是：给它快速、强大且具有确定性的工具，并将整个流程构建成确定性的形式化工作流。让它更快，让它能在正确的时间看到相关内容，让它少些笨拙，让它能自我纠正。将那种才华横溢但不一致的非确定性，夹在强大的确定性工具和同样形式化的流程之间。 如果我们让这些工具和流程变得可塑，这个故事的趣味性就更大了。这样，如果 Claude 太多次执行某个动作序列，我们就将其自动化。如果它反复在某件事上失败，我们就自动化验证步骤。 本质上，我们让 LLM 自动化自身，直至消失，转而使用简单可靠的确定性工具。 Beagle SCM 允许 LLM 用 JavaScript 脚本编写自己的例程（https://replicated.live/blog/js.html）。虽然所有的重活（https://github.com/gritzko/libdog）都是用 C 实现的且很少改动，但工具层（三明治的下层）和工作流层（三明治的上层）全都是 JavaScript（https://github.com/gritzko/beagle-ext），并且像 `node_modules` 那样从文件系统中读取代码。想象一下 `git` 钩子可以分词几乎任何语言的源文件、检查文件历史和提交历史、交叉验证链接，以及基本上能够访问 `git` 内部可访问的任何数据。那就是 Beagle。