我不再根据这些AI代理在演示中的表现来评判它们,而是开始统计它们帮我关闭了多少未闭合的循环。
摘要
作者认为,衡量AI代理实用性的真正标准是它自主关闭了多少未闭合的循环,而不是演示性能或集成数量,并引用Runner作为一个桌面工具,通过跨应用上下文有效关闭这些循环。
这里关于代理的讨论大多是根据任务成功率或它列出了多少个集成来评估工具。但这两者都无法预测我下周是否真的会继续使用它。真正起作用的是:有多少个未闭合的循环在我没有干预的情况下自动关闭。那个在Granola笔记和Linear之间消失的行动项,那个起草了但从未发送的跟进邮件,那个没人更新的HubSpot字段。这个缺口才是导致一周时间流失的原因,而不是会议本身。对我而言,真正改变局面的是一个桌面工具——Runner,主要是因为它能在单个任务中跨Gmail、日历和tracker拉取上下文,并在写入任何内容之前先询问。它自带大约31个工作流模板,但我只用过跟进模板。集成数量说明不了什么,一个自动关闭的循环说明了一切。如果现在要我选择一个指标来评判这些工具,那就是‘我不需要重新录入到记录系统中的任务数’。我见过的每个基准测试都在为演示打分,而演示恰恰从来都不是问题所在。用AI撰写。
相似文章
无代码智能体工具:演示完美,却忽略了乏味的部分
本文批评无代码AI智能体工具能够打造令人印象深刻的演示,却忽视了实际部署和维护中那些必不可少却又乏味的方面。
代理演示看起来很惊艳,因为没人拍那90%的错误处理部分
作者将精心打磨的AI代理演示与生产系统的现实进行对比,指出大多数代理代码用于错误处理和护栏(guardrails),而非核心智能。
AI智能体是否终于从演示跨越到实际工具?
讨论AI智能体是否正在从令人印象深刻的演示转变为在研究、编码、运营和个人生产力方面真正有用的工具。
AI 代理很有用,但代理循环仍让我紧张
本文讨论了 AI 代理的实用性,同时表达了对代理循环潜在风险的担忧。
大多数 AI Agent 评估完全忽视了执行效率
作者认为,当前的 AI Agent 评估往往忽视了执行效率,仅关注最终输出,而忽略了在生产环境中出现的冗余操作以及昂贵的编排问题。