如何决定哪些AI代理值得在生产环境中保留？

一个无人使用的代理仍可能拥有凭证、访问客户数据并运行定时任务。令牌费用可能很小。但它保留的访问权限才是我担心的。团队是否定期检查哪些代理仍然有用——并关闭那些没有用的？仅使用量低并不能解决问题。每月使用一次的代理可能执行重要任务。如果有人花费数小时修复其输出，高使用量也证明不了什么。而且，有用并不应赋予代理超过其需要的权限。 我一直在阅读如何衡量代理生产力。以下是我发现的方法，包括论文标题，如果你想查阅的话。 **成功任务与成本**：Princeton的“AI Agents That Matter”主张同时评估准确性和成本。对于生产环境，这可能意味着每个被接受结果的成本，包括失败尝试和重试。这对于比较实现方式很有用，但它并不能告诉你是否有人需要该输出。 代理是否真的可靠地完成工作？“tau-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains”检查代理是否达到预期的数据库状态，并在重复尝试中始终成功。思考的是“预订是否被正确更改？”而不是“答案听起来是否令人信服？”这衡量了可靠性，但未说明服务是否值得运行。 **剩余多少人工工作？**：比较使用AI和不使用AI的类似任务，包括准备、审查、纠正和失败时接管。METR通过这种方式研究开发者生产力。其2026年2月更新“We Are Changing Our Developer Productivity Experiment Design”解释了困难，如选择偏差和人们并行运行代理。这感觉很关键：代理快速完成并不一定意味着人快速完成。 **业务成果是否改善？**：Brynjolfsson、Li和Raymond的“Generative AI at Work”研究AI在客户支持中的辅助作用，使用诸如每小时解决的问题数等指标。这更接近商业价值。然而，它研究的是与AI一起工作的人，而不是自主代理。并且你需要将AI的贡献与团队中的其他变化分开。 **从对话中估算节省的时间**：Anthropic的“Estimating AI Productivity Gains”使用模型估算有AI和没有AI的任务时间。这可能比要求每个人跟踪时间更容易扩展。但估算的节省并非实际测量的节省，而且对话不会显示之后所有的检查和清理工作。 我纠结的是如何将这些衡量与决策联系起来：保留代理、改进它，还是关闭它并撤销其访问权限。是否有人进行定期审查，汇集使用情况、有用成果、人工努力、成本和权限？或者这些都只是分开的讨论？ 对于运行生产代理的人：什么让你觉得一个代理真的值得保留？你如何计算人工审查和清理，而不使衡量成为另一项工作？你是否因为代理没有提供价值而退役过它？什么说服了你？一个具体例子会有帮助：代理做什么，你衡量什么，以及这个衡量改变了什么决策。电子表格或手动月度检查与专用工具一样有趣。