@jerryjliu0:如今,你几乎可以通过定义一个评测(eval)并在其上进行爬山优化来解决任何任务,而不是直接定义……

X AI KOLs Timeline 新闻

摘要

LlamaIndex CEO Jerry Liu 认为,AI 开发正在从手写确定性或智能体工作流,转向定义评测并在此基础上进行优化;智能体接口也将随之演化,以承载目标和评测驱动的指令。

如今,你几乎可以通过定义一个评测(eval)并在其上进行爬山优化(hillclimbing)来解决任何任务,而不是直接编写确定性/智能体工作流来完成它。 数据提供商公司的全部工作,就是为所有经济活动定义评测,从而让前沿模型有能力做任何事情。 那么你的工作就变成了将前沿智能引向正确的方向——定义要解决什么问题,以及如何衡量什么才算做得好。 智能体应用接口将随之演化以适配这一趋势。最复杂的流程仍然需要某种显式的工作流构建器接口,但大多数任务都可以被压缩成目标和评测指令。
查看原文
查看缓存全文

缓存时间: 2026/10/10 04:40

如今,你几乎可以通过定义一个 eval 并在其上进行爬山搜索来解决任何任务,而不是直接定义确定性/智能体工作流来解决问题。

数据提供商公司的全部工作就是为所有经济活动定义 eval,使前沿模型能够胜任任何事情。

你的工作则变成了将前沿智能引向正确的方向——定义要解决什么问题,以及如何衡量什么是“好“的标准。

智能体应用的接口将逐步演进以捕捉这一范式。最复杂的流程仍然需要某种显式的工作流构建器界面,但大多数任务可以被压缩为目标和 eval 指令。

相似文章

解密 AI Agent 的评测方法

Anthropic Engineering

Anthropic 发布了一份指南,介绍如何为 AI Agent 设计严谨的自动化评测方案,重点解决了多轮交互和状态修改带来的复杂性挑战。