@FinanceYF5: 1/ 评估能力正成为AI产品经理的一项核心技能。上周，Lenny分享了25个优秀的PM职位，其中…

1/ 评估（Evals）正成为AI产品经理的一项核心技能。

上周，Lenny分享了25个优秀的PM岗位，其中近半数要求候选人具备撰写评估（Evals）的经验。

越来越多的公司也开始公开展示他们的成果：做好评估可以同步提升质量、速度并降低成本。👇

2/ Ramp 通过Evals，将自动收据收集的准确率从35%提升至83%。

Shopify 构建的AI工作流，比之前基于前沿模型的方案快2.2倍，成本降低了68%。

3/ Harvey 重新设计AI合同审查工具后，其内部质量评分接近翻倍。

Cursor 优化Auto Balance模型路由后，用户满意度显著提升，同时成本还下降了41%。

4/ AI产品易于修改，却难以预测。

一次提示词、模型或代码变更，可能改善一种行为，同时破坏另一种行为。

Evals将团队对“好”的判断转化为可重复的测试，在上线前自动检查产品是否仍按预期运行。

5/ 多数团队最容易犯的错误，是跳过“发现错误”，直接开始设定指标。

用户日志难查，指标易于自动化，但指标定得过早，往往会导致衡量错误的问题。

发现错误类似于产品调研：先找到值得解决的问题，再决定测量什么。时间有限时，应优先进行这一步。

6/ Hamel Husain 与 Shreya Shankar，基于他们与超过50家AI公司的合作经验，总结了团队最常跳过的步骤、适合自动化的任务，以及一个能让编程代理处理大部分工作的免费插件。

来源：