@LangChain: Watch the full conversation:

@clay @jeffbarg Watch the full conversation: https://t.co/JStaVgW9pH

Clay通过AI智能代理帮助用户发现、转化和发展优质客户，并大规模使用LangSmith进行代理开发与成本监控。

Clay的增长创意工具定位

Clay是一个增长创意工具，核心价值是帮助用户在平台内构建各类增长方案。具体功能包括创建企业及联系人列表，通过传统数据服务商或AI网络调研丰富信息，并基于列表开展外向营销、潜在客户筛选和线索路由等操作。

AI在Clay中的演进历程

Clay最初是一个对话补全封装器，用于长文档摘要或营销文案撰写。2023年年中，在GPT-4时代早期，公司观察到用户自发进行网络调研并使用AI提取信息，因此推出了Claygent（AI网络调研代理）。这一发展源于用户行为驱动。

AI智能代理系统现状

Clay的核心是发现、转化和发展优质客户，每个环节都有专门的智能代理：

• 智能搜索代理：用于目标市场筛选，通过网络或数据库定位理想客户。
• 账户发展代理：进行深度研究或评估企业匹配度。
• 账户跟进代理：执行外向沟通，促成转化。

代理运行规模方面，Clay每月执行约3亿次智能代理运行，平均每次运行包含10到30个步骤，涉及网络文档整合、网页检索、页面爬取等操作。AI占整体操作量的比例持续增长。

开发流程与质量控制

随着代理系统扩展，Clay从纯软件应用演变为“软件+智能代理”模式，开发主要关注三个维度：

1. 代理运行质量：用户对数据准确性要求极高，评估标准多样。
2. 处理效率：如何高效执行大量运行。
3. 成本控制。

质量评估方法

采用混合评估方法：

• 部分基于确定性事实验证，如将输出与标准答案库比对。
• 部分使用大语言模型进行评判，适用于段落式答案或生成建议的场景。

模型选择与管理

Clay采取模型无关策略，允许用户选择偏好模型供应商，但不同模型在写作风格和任务适用性上存在差异。公司开发了元提示工具，根据问题特征自动匹配最适合的模型。当新模型发布时，通过评估在元提示工具中添加新的映射关系。

LangSmith的应用与价值

LangSmith在Clay中主要用于两大方面：

生产环境监控

• 分析流量模式：监控实际使用与预期差异，以及客户间使用差异。
• 深入客户层级：解决客户反馈与实际情况的对应问题，判断是工具故障、推理问题还是系统其他环节出错。
• 由于用户输入是纯自然语言，应用场景广泛，生产环境中存在大量不可预测因素。

智能代理构建

• 从零开始构建新型代理（如智能搜索代理、CRM账户智能代理）时，实时追踪运行轨迹与输出结果。
• 集成基于Vercel AI SDK，只需一行代码修改即可导出追踪数据到LangSmith。
• 追踪从开发第一天就启用，流式接收追踪轨迹是迭代流程的一部分。

关键功能与影响

• 成本可观测性：LangSmith数据与实际账单匹配率达99%~99.5%，实现成本支出全覆盖，财务团队满意度高。
• 可视化与易用性：能清晰展示子代理嵌套关系或工具调用路径，平台易于工程师上手。
• 数据导出：支持将追踪数据导出至Snowflake进行长期分析。
• 性能与速度：对于大规模用户，快速获取追踪数据和数据摄入可靠性至关重要。
• 团队使用：约25到50人使用LangSmith，主要为工程师，但也逐步向客户支持等团队开放用于调试。

无形收益包括缩短开发时间、提供追踪功能以及传统可观测性特性。

未来趋势与建议

Clay观察到两个重要趋势：

1. 长时间运行的智能代理：执行更多步骤、运行周期更长，LangSmith的线程追踪功能对此很有帮助。
2. 子代理使用增多：LangSmith集中展示所有代理追踪数据的功能非常实用。

公司正在探索将生产环境追踪数据提供给编码代理，使其能发现问题并自我修复，但尚未完全闭环整合。受Ramp团队启发，Clay正在将更多编码代理融入软件开发生命周期。

对于其他有望达到类似规模的公司，Clay的建议涉及大规模运营下的注意事项（但具体内容在转录中未详细展开）。

Source: YouTube Video