langsmith

@wonder正在构建一个AI智能助手，自动化膳食规划与配送，集成LangSmith进行调试和评分，使用LLM-as-judge方法。

LangSmith 推出了自定义应用，现已全面可用，允许用户在平台上为他们的代理数据构建和发布自定义界面，以增强标注和实验比较等工作流程。

LangChain 在 LangSmith 中引入 Trajectories，这是一种按时间顺序查看代理会话的视图，通过聚合来自人类、AI 和工具的消息来简化调试，以便更容易地导航和分析。

LangChain 在推文中推广了用于 LangSmith Engine 的 Agent Claw Play，邀请用户试用这款交互式开发工具。

LangChain 宣布 LangSmith Engine v2，新增红队测试和验证修复等功能，以主动识别和解决 AI 代理中的问题，避免影响生产环境。

LangChain 在主题演讲中宣布了 LangSmith 的新功能，包括用于红队测试的 LangSmith Engine v2、具有新认证和内存功能的 Managed Deep Agents v0.8、用于代理会话视图的 LangSmith Trajectories，以及 LangSmith Fine-Tuning。

LangChain宣布将于9月30日举办一场专注于在线评估的活动，展示如何使用LangSmith中的Tuned Evaluators自动分析AI代理交互并在生产环境中提供反馈。

LangSmith 现在支持决策模型，例如 Jev 和 SemIf，提供每一步的可见性，以帮助更快地调试和理解模型行为。

LangSmith 正在帮助医疗机构将专家评审转化为可重复使用的 AI 代理评估，从而改善患者护理工作流程。

LangSmith 现已集成 Jev，一个 System One 模型，用于快速且经济的代理跟踪在线评估，实现更广泛的评分和安全检查，无需高昂成本。

LangChain 宣布，开源决策模型 SemIf 在 LangSmith LLM Gateway 中免费提供一周，且与 TypeSafe SDK 兼容。

Enzo Health 在符合 HIPAA 的医疗环境中使用 LangSmith 跟踪和评估其临床 AI 管道，公司正在招聘工程师以推动临床工作流程中的 AI 应用。

Included Health 构建了 Dot，一个 AI 驱动的联邦多智能体医疗指南，使用 LangGraph 和 Deep Agents，使聊天参与度提高了 75%，高风险检测率超过 99%。

Deep Life Sci 是一个开源的智能助手，专为临床和实验室科学家设计，提供对 ClinicalTrials.gov 和 PubMed 等庞大数据库的访问，并配备子代理以实现高效的文档审查。

LangSmith对其代理跟踪过滤功能进行了重建，使得构建查询、查找运行和理解匹配更加快速和便捷。

Clay 展示了如何将 LangSmith 追踪集成到其基于 Vercel AI SDK 构建的代理框架中，只需一行代码即可完成。

LangChain 展示了 LangGraph 和 LangSmith 如何加速了 Lyft 的支持代理开发，将发布时间从六个月缩短到 1-2 周，并增强了可见性。

LangChain 已在他们的 LangSmith 精要课程中添加了一个结业项目，为在 AI 智能体工程中实践调试和追踪技能提供更多机会。

这篇文章解释了AI代理的评估方法，涵盖了简单、困难和高级模式，并提供了使用Harbor和LangSmith等工具进行安全测试和自我改进的实用建议。

LangSmith LLM Gateway 通过将 API 密钥限制为特定模型并自动阻止未授权调用来帮助组织管控模型访问，Opus 5 和 Sonnet 5 演示了此功能。