在智能体评估中融合多个团队优先级

我认为现在已经过了 CTO 们炫耀 token 花费的阶段，大家真正想要的是高性价比的智能体，而不仅仅是炫酷的聊天和自动化。我在 Towards Data Science 上写了一篇文章，探讨如何将基于业务考量的成本、质量和延迟需求转化为驱动智能体评估的数学模型。 我一次又一次地陷入提示词打磨的循环：我们构建，然后调整，然后出现回归，然后优化，然后发现成本太高，然后寻找变通方案。AI 工具框架让这个流程变得可行，但我认为有更好的方法来加速这个过程，尤其是当参与的不止你和 Claude 的时候。关键在于构建一个"盒子"来判定一个可接受的智能体，保持在这个盒子内，然后进行优化。 简而言之，对于成本，需要确定： 1) 每条 trace 你能接受的成本阈值 2) 超过阈值时的惩罚 3) 与其他目标相比的权重——在盒子内哪个更重要 对质量、延迟、轮次等重复此过程。使用指数函数组合各个维度，生成一个平滑的凸评分。取均方根损失，以同时兼顾平均损失和方差。 用单一数值来评估各种配置（模型、提示词、工作流、技能、工具），这个数值能够反映真实的业务需求。 希望你喜欢，去构建吧，也欢迎告诉我这是否引起了你的共鸣。