@LangChain：IssueBench是我们为Engine（LangSmith中的持续学习代理，运行在您的轨迹上…）构建的详细评估套件

X AI KOLs Following 2026/07/20 17:09 工具

benchmark evaluation langchain langsmith continual-learning agent dev-tools

摘要

LangChain推出了IssueBench，这是一个为Engine（LangSmith中的持续学习代理）设计的详细评估套件，该代理能基于运行轨迹自动改进代理。

IssueBench是我们为Engine（LangSmith中的持续学习代理，运行在你的轨迹上，自动改进你的代理）构建的一个详细评估套件。评估Engine是一个棘手的问题，因为它需要运行的数据类型特殊，因此我们写了这篇博客，概述了基准测试是什么以及我们如何创建它的。

查看原文

查看缓存全文

缓存时间: 2026/07/21 06:42

IssueBench 是一个我们为 Engine（LangSmith 中的持续学习代理，基于你的追踪数据运行，自动优化你的代理）构建的详细评估套件。

由于 Engine 所需运行的数据类型特殊，对其进行评估是个棘手的问题。因此我们撰写了这篇博客，概述基准测试是什么以及我们是如何构建它的：

相似文章

X AI KOLs Following

LangChain 推出了 Engine，它通过读取 traces 和代码仓库来了解你的 Agent 的工作原理，然后针对 Agent 特有的薄弱环节进行测试，例如幻觉和系统提示词违规，并返回一份已验证的问题清单，供你在这些问题影响用户之前加以修复。

X AI KOLs Following

LangChain 推出 LangSmith Engine 公测版，这是一个自主智能体，能够监控生产追踪、聚类故障、诊断根本原因，并提出修复和评估覆盖建议，以简化智能体开发。

X AI KOLs Following

这条推文对比了改进AI智能体的旧手动方法与使用LangSmith Engine的新自动化方法，后者循环进行追踪、评估和修复。

X AI KOLs Timeline

Adam Łucek 讨论了 LangSmith Engine，这是一个使用追踪数据来自动化代理开发的代理。

X AI KOLs Following

Baseten Loops 是一款工具，通过微调代理轨迹上的开源模型并部署检查点到生产环境，帮助团队为 LangSmith Engine 训练模型。