production-traces

Replit构建了ViBench以根据自然语言规范评估应用构建成功率，以及Telescope来聚类生产环境故障轨迹，从而为使用闭源前沿模型的Agent实现框架级别和上下文级别的持续学习。

主张将生产轨迹作为AI后训练的数据，强调数据投入规模日益增长。

Benchling 的人工智能主管在一次技术演讲中讨论了分析生产追踪的模式。

LangChain 推出 LangSmith Engine 公测版，这是一个自主智能体，能够监控生产追踪、聚类故障、诊断根本原因，并提出修复和评估覆盖建议，以简化智能体开发。

TRACER是一个开源系统，它在LLM分类端点的生产追踪数据上训练轻量级机器学习代理，并通过一个一致性门控路由请求，仅当代理与原始模型的一致性超过指定阈值时才激活代理。该方法在意图分类基准上实现了83-100%的代理覆盖率，同时保持了对处理边界和故障模式的可解释性。