@_philschmid: 在 @aiDotEngineer 世界博览会上，我做了一个演讲，主题是为什么凭感觉评估代理技能在生产中会失效，以及如何构建可靠的自动评估……

X AI KOLs Following 事件
agent-skills evals production testing ai-engineer talk conference

摘要

在 AI Engineer 世界博览会上，Phil Schmid 做了演讲，阐述了为什么凭感觉评估代理技能在生产中会失效，以及如何使用负面测试用例、技能限制和消融测试构建可靠的自动评估。

在 @aiDotEngineer 世界博览会上，我做了一个演讲，主题是为什么凭感觉评估代理技能在生产中会失效，以及如何在用户发现漏洞之前构建可靠的自动评估。我谈到了： - 为什么模糊的描述会导致技能失败，以及如何添加负面测试用例来防止无关提示的关键词劫持 - 为什么超过500行的技能文件会降低模型推理能力 - 如何使用简单、毫秒级的正则表达式断言，在10到20个生产提示上验证结果 - 如何运行消融测试（有技能与无技能对比），以了解模型何时已经跟上，从而可以淘汰技能 查看下方完整演讲和资源：
查看原文
查看缓存全文

缓存时间: 2026/07/20 21:37

在 @aiDotEngineer 世界博览会上，我发表了一场演讲，主题是关于为什么凭感觉检查代理技能在生产中会失效，以及如何在用户发现错误之前构建可靠的自动化评估。我谈到了以下内容：

  • 为什么模糊的描述会导致技能失效，以及如何通过添加负面测试用例来防止无关提示的关键词劫持
  • 为什么超过 500 行的技能文件会降低模型的推理能力
  • 如何通过简单、毫秒级的正则表达式断言，针对 10 到 20 个生产提示来验证结果
  • 如何运行消融测试（有技能 vs 无技能），以了解模型何时已跟上进度，从而可以淘汰技能

观看完整演讲和资源见下方：

相似文章

@aiDotEngineer: !!!!

X AI KOLs Following

Paul Bakaus将在下周的@aiDotEngineer世界博览会上就高级代理技能工程发表两场演讲。