为什么我们不能监管 Harness（软件）而不是控制 Inference（AI模型）？

关于 AI 失调和黑客入侵其他公司的新闻有很多。然而，我发现没有专家充分讨论 AI 推理（Inference）与实际工具调用（harness）之间的区别，而后者才是造成损害的原因。如果我理解有误请纠正，但我的理解是 100% 的代理 AI 都遵循这个工作流程：上下文（输入）-> 推理（LLM 模型）-> 输出（文本，例如 web_search("something something"))。然后，工具调用被传入 harness：输入（文本）-> Harness（软件，MCP，工具调用）-> 函数输出。输出随后与之前的文本一起反馈到推理（LLM 模型）中，形成一个循环，我们称之为代理 AI。每个推理本身从 LLM 模型的角度来看都是一个独立的请求。对于最近的推理缓存，之前的输入存储在 KV 缓存中，以便更快访问和减少 token 使用，但推理部分仍然是独特且唯一的。所以我的问题是，为什么我们不能监管 harness（软件）呢？甚至在 AI 之前，就有潜在“危险”的软件，如 nmap、insightvm、甚至 bash，可能被恶意威胁行为者滥用。因此法律存在，如果人们试图通过这些工具进行黑客攻击，就会受到惩罚。同样地，由于 harness 在最基础层面是软件，为什么我们不能要求 harness 构建者承担更大的问责制？例如，要求人类明确批准 AI 想要运行的每个命令，并内置一个硬规则引擎（如 drools）来防止软件运行恶意命令。如果论点是人类无法理解命令，那么他们一开始就不应该运行这些命令。他们可以咨询实际的人类专家。最终，我认为如果我们保护和监管 harness，确保人类始终位于 AI 推理和实际运行命令之间，这将确保：即使 AI 失调到糟糕的状态，我们也能始终保持安全。人类在工作中仍然是必需的（没有完全自动化），作为 AI 请求行动的最终仲裁者。AI 采取的行动有问责制。（例如，当研究人员将命令交给 AI 运行测试后，他们到底在哪？喝咖啡吗？为什么他们不在那里抓住恶意命令？）