📊我们重新构建了 LangSmith 中的仪表盘，使其对调查和报告更有用。将 KPI 放在趋势旁边，比较不同单位的指标，按模型或用户拆分追踪，添加备注，并自由排列仪表盘。

https://t.co/A876TfbLUZ https://t.co/dVCQ8coVYw

使用仪表盘监控项目 - LangChain 文档

来源：https://docs.langchain.com/langsmith/dashboards 仪表盘为您提供对追踪数据的高层洞察，帮助您发现趋势并监控应用程序的运行状况。仪表盘可在 LangSmith UI 的监控中使用。LangSmith 提供两种仪表盘类型：

• 预构建仪表盘：为每个追踪项目自动生成。
• 自定义仪表盘：可根据您的需求配置的图表集合。根据您的平台设置，提供两种体验：
  • 自定义仪表盘：适用于 LangSmith Cloud US。
  • 自定义仪表盘（旧版）：适用于 LangSmith 自托管以及 LangSmith Cloud EU/APAC。

预构建仪表盘

预构建仪表盘会为每个项目自动创建，并覆盖关键指标，例如追踪数量、错误率、Token 使用量等。默认情况下，您可以通过追踪项目页面右上角的仪表盘按钮访问您的追踪项目的预构建仪表盘。

仪表盘部分

预构建仪表盘分为以下几个部分：

分组依据

您可以使用按运行标签或元数据的分组，根据对您的应用程序重要的属性来拆分数据。全局分组依据设置显示在仪表盘的右上角。请注意，工具和运行类型图表已经应用了分组依据，因此全局分组依据不会生效。全局分组依据将应用于所有其他图表。

自定义仪表盘

创建量身定制的图表集合，用于跟踪对您的应用程序最重要的指标。

创建新仪表盘

1. 导航到左侧边栏中的监控选项卡。
2. 点击**+ 新建仪表盘**按钮。
3. 为您的仪表盘命名并添加描述。
4. 点击创建。

向仪表盘添加图表

1. 在仪表盘内，点击**+ 新建图表**按钮以打开图表创建窗格。
2. 使用窗格顶部的编辑图标为您的图表命名并添加描述。

图表配置

从模板开始（可选）

要从模板开始，请选择一个模板，其中包含一些常见的可观测性用例：

• 错误率随时间变化
• 按模型划分的平均延迟
• 运行量
• Token 使用量随时间变化
• 最昂贵的模型

或者，使用搜索模板查找其他模板。

选择追踪项目或数据集

打开**+ 选择项目或数据集**以查找来源。使用弹窗顶部的选项卡在两种来源类型之间切换。

• 追踪项目：根据每个图表的需要添加一个或多个项目。指标通过将所有选定项目中的运行合并到单个集合中来计算，而不是按项目显示。若要按项目拆分结果，请使用分组依据。
• 数据集：每个图表选择一个数据集。
  • 选择第二个数据集会静默替换前一个数据集。
  • 一个图表要么基于追踪项目，要么基于数据集。在已选择项目时选择数据集（反之亦然）会清除现有选择。

选择指标

从下拉菜单中选择一个指标。选项按您要测量的内容分组：

对于多指标过滤，请阅读以下“过滤和分组”部分。

过滤和分组

使用过滤器精简图表上显示的数据，并使用分组将其拆分为多个序列。过滤器出现的位置取决于您的图表有多少个指标：

• 单个指标：在过滤与分组面板中有一个**+ 过滤器**（where 槽位）。它应用于该指标。
• 多个指标或比率：每个指标（或比率）在选择指标下的卡片中都有自己的**+ 过滤器**。没有单独的图表级过滤器。

添加过滤器时，默认在运行级别进行过滤。若要扩大范围，请打开过滤器选择器，然后是底部的高级子菜单，并选择：

• 追踪过滤器：在追踪（根运行）级别过滤。
• 树过滤器：如果任何运行匹配条件，则包含整个追踪树。

活动作用域会显示为高级项的后缀（例如，高级树过滤器）。点击其旁边的X可重置为普通的运行过滤器。数据集来源不暴露运行/追踪/树过滤器。数据由所选数据集限定范围。有关过滤器语法，请参阅过滤应用程序中的追踪。分组通过以下两种方式之一在同一图表上创建多个序列：

1. 分组依据：根据一个属性自动将数据拆分为多个序列。可用属性：运行名称、运行类型、标签、项目、元数据（使用路径，如 metadata.ls_model_name）和反馈标签。分组按频率排序，并限制为前 20 个。
2. 数据序列：使用添加另一个指标按钮手动添加指标。每个序列都可以带有自己的过滤器，因此您可以在同一图表上比较，例如“状态为错误的计数”与“状态为成功的计数”。

选择可视化

选择可视化类型：

• 折线图
• 堆叠条形图
• KPI
• 排名条形图
• 环形图
• 表格

保存和管理图表

• 点击保存将图表保存到仪表盘。
• 点击图表右上角的三点按钮来编辑或删除图表。
• 点击图表右上角的三横线按钮并选择**+ 克隆**来克隆图表。这将打开一个新的图表创建窗格，其配置与原始图表相同。

排列您的仪表盘

• 重新排列图表：拖动任意图表的标题以在网格中移动它。
• 仪表盘时间范围：在仪表盘顶部设置一次。除非图表覆盖自己的存储桶大小，否则每个图表都使用此范围。
• 克隆仪表盘：使用仪表盘标题中的复制图标。克隆预构建仪表盘会将其图表转换为完全可编辑的自定义图表。

自定义仪表盘（旧版）

创建量身定制的图表集合，用于跟踪对您的应用程序最重要的指标。

创建新仪表盘

1. 导航到左侧边栏中的监控选项卡。
2. 点击**+ 新建仪表盘**按钮。
3. 为您的仪表盘命名并添加描述。
4. 点击创建。

向仪表盘添加图表

1. 在仪表盘内，点击**+ 新建图表**按钮以打开图表创建窗格。
2. 为您的图表命名并添加描述。
3. 配置图表。

图表配置

选择追踪项目并过滤运行

• 选择一个或多个要跟踪指标的追踪项目。
• 使用图表过滤器部分来精简匹配的运行。此过滤器适用于图表中的所有数据序列。有关更多信息，请参阅过滤应用程序中的追踪指南。

选择指标

• 从下拉菜单中选择一个指标，以设置图表的 y 轴。在选择项目和指标后，您将看到图表的预览以及匹配的运行。
• 对于某些指标（例如延迟、Token 使用量、成本），LangSmith 支持比较同一单位的多个指标。例如，您可能希望在一个图表中同时看到提示 Token 和完成 Token。每个指标显示为单独的线条。

拆分数据

有两种方法可以在图表中创建多个序列（即，在图表中创建多条线）：

1. 分组依据：按运行标签或元数据、运行名称或运行类型对运行进行分组。分组依据会根据所选字段自动将数据拆分为多个序列。分组依据默认按频率取前 5 个元素，可配置到最多 20 个。
2. 数据序列：使用单独的过滤器手动定义多个序列。这对于比较单个指标内的细粒度数据非常有用。

选择图表类型

• 选择折线图或条形图进行可视化。

保存和管理图表

• 点击保存将图表保存到仪表盘。
• 点击图表右上角的三点按钮来编辑或删除图表。
• 点击图表右上角的三横线按钮并选择**+ 克隆**来克隆图表。这将打开一个新的图表创建窗格，其配置与原始图表相同。

从追踪项目链接到仪表盘

您可以直接从追踪项目链接到任何仪表盘。默认情况下，您的追踪项目的预构建仪表盘会被选中。如果您希望改为链接自定义仪表盘：

1. 在您的追踪项目中，点击仪表盘按钮旁边的三个点。
2. 选择一个仪表盘设置为新的默认仪表盘。

示例：用户旅程监控

使用监控图表来映射代理在特定节点所做的决策。假设有一个电子邮件助手代理。在某个特定节点，它会针对一封电子邮件做出决策：

• 回复电子邮件。
• 通知用户。
• 无需响应。

您可以创建图表来跟踪和可视化这些决策的分布情况。创建图表

1. 指标选择：选择指标 Run count。
2. 图表过滤器：添加一个树过滤器，以包含所有名称为 triage_input 的追踪。这意味着您只包含命中 triage_input 节点的追踪。同时添加一个图表过滤器，将 Is Root 设为 true，这样计数就不会被追踪中的节点数量夸大。
3. 数据序列：为在 triage_input 节点做出的每个决策创建一个数据序列。决策的输出存储在输出对象的 triage.response 字段中，决策的值是 no、email 或 notify。这些决策中的每一个都会在图表的单独数据序列中生成。

节点处的决策

现在您可以可视化 triage_input 节点随时间推移做出的决策。