使用代理来解析代理跟踪

已在生产环境中运行代理数月，并将所有数据记录到 MLflow 实验中（包括跨度、工具调用、延迟、令牌计数和错误）。跟踪记录很棒，但每次想回答诸如“哪个工具调用超时最多”或“多步骤运行的 p95 延迟是多少”之类的问题时，都需要手动编写 pandas/SQL 代码。因此，我将 Databricks Genie 指向了跟踪表。Genie 能将自然语言问题转换为针对数据的 SQL 查询，所以我现在只需用英文提问：- “显示本周最慢的 10 条跟踪记录，以及哪个工具主导了延迟” - “按工具划分，出错的运行占比是多少？” - “每条跟踪的平均令牌数，按日趋势”它会生成 SQL，针对存储在 UC 中的 MLflow 跟踪数据运行查询，然后返回表格或图表。设置过程大致如下：跟踪数据已落入 MLflow 实验中（autolog 处理了大部分工作）将跟踪/跨度数据扁平化为可查询的表格在这些表上创建 Genie 空间，并提供一些上下文（例如“跨度”是什么，工具名称的含义）。快速入门时，您也可以直接使用 genie 代码。最大的好处是，团队中非 SQL 人员现在可以自行查询代理行为，而无需再联系我。