LangSmith Custom Apps 发布：基于代理数据自定义界面

即刻开始用提示词构建任意界面。只要你能想到，LangSmith 就能实现。现已正式发布。https://langchain.com/blog/langsmith-custom-apps…

LangSmith Custom Apps：围绕代理数据构建自定义界面

来源：https://www.langchain.com/blog/langsmith-custom-apps 今天，我们在 LangSmith (https://www.langchain.com/langsmith-platform) 中推出 Custom Apps 功能，支持基于 LangSmith 数据构建、发布和运行自定义用户界面，并直接在 LangSmith 平台内运行。

成千上万的 AI 工程团队使用 LangSmith 来调试、评估和改进他们的智能代理。LangSmith 根据我们观察到的最常见用户需求，为这些工作流提供了默认界面，包括用于延迟、成本和错误率的预制仪表板，以及突出实验间回退现象的对比视图。但我们发现，团队往往需要以符合自身质量标准和审查流程的方式与数据交互。

部分团队已通过围绕 LangSmith 数据构建自定义前端来解决此问题。他们使用编程代理、LangSmith API 和内部工具为数据创建定制化界面。但这些应用程序与其他任何软件一样，需要持续维护，包括托管、身份验证、权限控制和共享功能。

现在，Custom Apps 让您可以使用 LangSmith 数据构建所需的界面，将其发布到工作区中，并省去托管、身份验证和权限管理的工作。

Custom Apps 工作原理

通过 Custom Apps，您既可以使用聊天提示词起步，也可以直接编写代码。在 Plus 和 Enterprise 计划中，只需告诉 LangSmith Chat 您希望查看的数据及可视化方式，Chat 即可将其转换为可运行的应用程序。如果您希望自行构建，则可以从提供的模板开始，结合编程代理通过 LangSmith API 进行开发。

发布后，该应用程序将成为工作区内的共享界面。您无需导出数据或临时重建相同的静态视图，而是可以将应用程序复用于重复性工作流，并与团队成员在他们已习惯查看跟踪记录、实验、标注和评估结果的同一位置进行共享。

LangSmith Custom Apps

左侧为 LangSmith 聊天界面，右侧为自定义应用预览。 当您需要重复相同的审查流程时，Custom Apps 尤其有用。以下是几种常见使用场景。

为标注人员提供合适的上下文

人工反馈是改进 AI 系统最重要的输入之一。自动化评估可以帮助您发现模式，但仍需人工审查输出、评判行为并解释对于您的应用程序而言“良好”的标准。

该审查工作通常因人而异。工程师可能需要完整的跟踪记录，包括工具调用、元数据和中间步骤；领域专家可能只需要用户请求、模型响应、相关上下文和清晰的评分标准。

通过 Custom Apps，您可以创建与审查者工作流程匹配的标注界面。您可以为审查者提供所需的上下文，隐藏不必要的细节，并引导他们完成您希望收集的特定反馈。

自定义实验对比方式

实验帮助您评估对智能代理的更改是否达到了预期效果。在发布更改前，您通常需要审查对应用程序重要的单个结果、细分段或失败模式。

这可能意味着比较不同提示词版本的输出、检查模型替换是否引入了回退现象，或按客户细分、故障类别、模型提供商或内部评估标准对结果进行分片。

Custom Apps 允许您围绕这些决策创建实验审查界面。这意味着您可以突出显示最重要的细分段、展示代表性示例、并排比较输出，或将以发布审查期间使用的格式打包结果。

当实验审查是重复性流程时，此功能尤为实用。您无需每次都重建相同的静态图表或自定义分析，而是可以创建一个与 LangSmith 数据保持连接的共享应用，并在每个审查周期中复用。

使跟踪记录审查更聚焦

您的跟踪记录审查流程通常遵循所运行智能代理的类型。对于客户支持代理，您可能更关注语气和代理是否解决了问题，这需要通过阅读对话来判断。而研究代理则可能根据其来源和所需工具调用次数进行评判。

当审查按计划进行时，Custom Apps 允许您围绕最常提出的问题创建更聚焦的用户界面，例如行为发生变化的位置、导致失败的步骤，或应用程序是否遵循了预期流程。

可用性与定价

Custom Apps 适用于 Plus 和 Enterprise 计划：

• Plus 计划包含每个组织一个 Custom Apps 及聊天体验。
• Enterprise 计划包含 无限量 Custom Apps 及聊天体验。

有关一般使用和计费信息，请参阅我们的 定价页面。

开始使用

您今天就可以通过 登录或注册 LangSmith 尝试 Custom Apps，详情请 访问文档。