@jerryjliu0:如今,你几乎可以通过定义一个评测(eval)并在其上进行爬山优化来解决任何任务,而不是直接定义……
摘要
LlamaIndex CEO Jerry Liu 认为,AI 开发正在从手写确定性或智能体工作流,转向定义评测并在此基础上进行优化;智能体接口也将随之演化,以承载目标和评测驱动的指令。
如今,你几乎可以通过定义一个评测(eval)并在其上进行爬山优化(hillclimbing)来解决任何任务,而不是直接编写确定性/智能体工作流来完成它。
数据提供商公司的全部工作,就是为所有经济活动定义评测,从而让前沿模型有能力做任何事情。
那么你的工作就变成了将前沿智能引向正确的方向——定义要解决什么问题,以及如何衡量什么才算做得好。
智能体应用接口将随之演化以适配这一趋势。最复杂的流程仍然需要某种显式的工作流构建器接口,但大多数任务都可以被压缩成目标和评测指令。
查看缓存全文
缓存时间: 2026/10/10 04:40
如今,你几乎可以通过定义一个 eval 并在其上进行爬山搜索来解决任何任务,而不是直接定义确定性/智能体工作流来解决问题。
数据提供商公司的全部工作就是为所有经济活动定义 eval,使前沿模型能够胜任任何事情。
你的工作则变成了将前沿智能引向正确的方向——定义要解决什么问题,以及如何衡量什么是“好“的标准。
智能体应用的接口将逐步演进以捕捉这一范式。最复杂的流程仍然需要某种显式的工作流构建器界面,但大多数任务可以被压缩为目标和 eval 指令。
相似文章
@jerryjliu0:在尝试 /goal 后,感觉手动构建任何类型的工作流的需求越来越少……
Jerry Liu 观察到,人工智能开发正从手动构建工作流转向指定目标,从提示工程转向目标与评估工程。
@jerryjliu0: 完全支持将爬山法产品化为适用于任何智能体任务的自动化服务。我有幸认识…
Jerry Liu 对 Explabs AI 表示认可,这是一家由 YC 支持的创业公司,将爬山法产品化为智能体任务的自动化服务,声称可节省高达 97% 的成本,并将质量提升 50%。
@ds3638: 评估已死。更准确地说:传统的评估驱动开发无法扩展。静态评估在…时是有用的
传统的评估驱动开发不适合长期运行的自主代理。可观测性驱动开发——结合严格的防护栏、生产轨迹收集和行为聚类——正在成为生产就绪AI系统的基础。
解密 AI Agent 的评测方法
Anthropic 发布了一份指南,介绍如何为 AI Agent 设计严谨的自动化评测方案,重点解决了多轮交互和状态修改带来的复杂性挑战。
如何为你的智能体编写评估?让你的智能体教你。
作者分享了一种实用的方法,通过为智能体创建交互技能来学习AI评估,鼓励实践和实验的学习方式。