@ArizePhoenix: Phoenix has an agent built into it now! PXI can help you find the crucial traces you should actually be reading. Short …

Phoenix has an agent built into it now! PXI can help you find the crucial traces you should actually be reading.

Short video on how to do use PXI in your daily flow: https://t.co/WRl3bYHQXi

TL;DR: 本文介绍如何使用 Phoenix 内置的 Pixie 智能助手，快速筛选出智能体 span 出错但模型回复正常的静默失败 trace，从而优先阅读高信号记录。

认识 Pixie：Phoenix 的内置助手

Phoenix 现在自带了一个智能助手 Pixie。点击右下角的 Pixie 按钮即可打开。系统会询问你是否理解助手使用了 LLM（大型语言模型）并且有时可能出错。你可以选择开启或关闭发送 trace 信息，并将这些 trace 与你邮箱关联后发送给 Arise 的 Phoenix 支持团队。我习惯开启，因为有时会遇到 bug，这样工程师更容易改进 Phoenix（我们每周更新版本）。确认后需要选择模型，我选了 Claude（自带 API 密钥），Sonnet 4.6 应该够用。

场景：在大量 trace 中找出关键记录

假设站点有几百条甚至成千上万条 trace，手动逐一阅读很难找出哪些重要。在改进智能体之前，先要看它实际做了什么——读实际例子，用通俗语言写下问题，再决定是否标记为成功。难点不在于阅读本身（谁都能读），而在于找出哪些 trace 值得花时间阅读。

这里以 Wonder Toys 网站的一些 trace 为例，输入输出看起来都还行。如何先识别出哪些值得打分？用 Pixie。

语音指令：找出静默失败

我准备用语音控制，对着 Pixie 输入框说：

“找出智能体 span 出错但模型回复正常的 trace 记录”

这类静默失败会让使用者非常失望——智能体出了严重问题，却像没事一样回复。Pixie 开始查找那些 span 出错但 LLM span 完成且带有状态的 trace。它返回结果：找到了 11 条有错误的 agent span，其中 8 条的 LLM span 正常完成。Pixie 甚至给出了错误模式的建议，并自动筛选了 span 表格，只显示有错误的 agent span。

分析具体示例

示例一：数量为 0 却确认订单

问题：数量需要大于 1，但只收到了 0，购买无法完成。但看 LLM 回复，却给客户一个订单 ID，并告诉她商品正在送达。这根本不可能，因为订单里商品数量是 0。回复里看不出任何问题：语气友好、格式正确、甚至有订单 ID。如果你整天阅读客户对话记录，根本不会注意到。但 span 显示错误，而消息却显示已确认——这就是高信号 trace：两者不一致。

我们加个备注（注意和注释不同，像在页边写的草稿）：“告诉客户订单已确认，但实际购买失败”。以后回来做注释时很有用。

示例二：Chroma Connection 完全失效

在这个例子中，Chroma Connection 完全失效，无法搜索产品。客户在问桌游，LLM 没有承认数据库连接失败，而是编造了一些客户可以购买的商品。还好客户没有下单，所以不需要联系客户道歉。虽然没有幻觉出数据库中不存在的玩具，但这种错误仍值得关注。

总结

Pixie 几秒钟就找到了这些 span，然后阅读分析还是靠我们自己。给高质量的 trace 添加备注，了解它们为什么出错以及可以如何处理。下一集将讲 Phoenix 如何组织结构化注释，但先从记录哪里不顺利开始，是正确的方向。

Source: https://youtu.be/5lUgdRFf4ZI