Launch HN: Agnost AI (YC S26) – 从智能体对话中提取用户反馈

<p>大家好，我们是 Shubham 和 Parth，从小一起长大的朋友，正在构建 Agnost AI（<a href="https://agnost.ai">https://agnost.ai</a>），这是一个为构建聊天和语音智能体的团队提供的产品分析平台。</p><p>我们读取生产环境中的对话，发现用户的行为故障，例如用户愤怒提示（对智能体咒骂）、反复重复同一请求、纠正智能体、询问缺失功能，或在得到技术上成功的答案后离开。</p><p>我们提供了一个无需注册的交互式演示：<a href="https://app.agnost.ai?demo=true">https://app.agnost.ai?demo=true</a></p><p>这是演示视频：<a href="https://www.tella.tv/video/agnost-ai-launch-hn-demo-9haa" rel="nofollow">https://www.tella.tv/video/agnost-ai-launch-hn-demo-9haa</a></p><p>核心问题在于，聊天和语音产品不具备与 Web 应用相同的指标。当产品界面是语言时，点击和漏斗变得不那么有用。用户也很少给出明确的反馈，即便给出也通常是经过美化的。我自己几乎不在 Claude 或 Codex 中输入 /feedback。大多数用户只是咒骂、重复提问、纠正智能体或直接离开。因此，产品工程师虽然可以从延迟、错误和追踪中获得技术可见性，但仍需猜测用户是否得到了他们想要的结果。</p><p>我们在过去一年围绕智能体进行构建，之后有几位创始人询问是否能有类似 PostHog 的对话分析工具，用于他们正在构建的 AI 助手。</p><p>我们并不试图进入可观测性或评估领域。可观测性告诉你技术上发生了什么。评估验证你已经知道的情况。我们更侧重于发现方面，比如用户想要什么、他们在哪里感到沮丧、他们反复询问什么，以及应该存在哪些新的评估。</p><p>团队通过 SDK 或 OTel 将智能体对话消息发送给我们，可选择附带元数据，如账户、套餐、来源、组织等。我们将对话聚类为产品特定的意图。功能请求和错误是默认类别；大多数其他聚类会根据客户数据动态创建，并随时间演变。您可以用普通英语创建自己的聚类。如果某个聚类过于宽泛，我们会将其拆分。如果出现新的模式，我们会提出建议。</p><p>一家 AI 视频编辑公司使用 Agnost AI 来发现隐藏在聊天中的功能请求。其中最大的请求是大约 70 名用户想要自动字幕，但用户的表述方式包括“在此帧中添加此文本”（单个会话中出现了 12 次）、“你能加上字幕吗”、“给我音频的转录文本”以及跨语言的各种变体。该团队后来构建了该功能。</p><p>在不将所有内容发送给 LLM 的情况下对数百万条消息执行此操作，最初是难点。在 ClickHouse 中，“按时间获取跨对话的最后 50 个事件”和“获取此对话中的所有事件”需要不同的排序顺序，因此我们不得不反复迭代排序键、分区、物化视图和投影。</p><p>为了发现新的聚类，将所有内容通过 LLM 发送太慢而且成本高昂。基于 HDBSCAN 的嵌入聚类在大规模数据上也因成对比较而变得棘手。我们首先根据余弦漂移将对话分割成片段，运行 BIRCH 来压缩候选空间，然后在较小的集合上使用类似 HDBSCAN 的聚类。对于匹配现有聚类，我们使用嵌入、较小的分类器/BERT 风格模型，并且仅在模糊情况下将 LLM 作为后备。</p><p>我们已与多家公司合作，每天处理约 100 万条聊天和语音消息。定价公开：Starter 免费，Pro 每月 $499，Enterprise 适用于更高的数据量、安全性和留存需求。我们仅将每位客户的数据用于该客户。我们已通过 SOC 2 Type 1 认证，Type 2 正在进行中，我们的 SDK 已发布在 PyPI 和 npm 上。</p><p>我们非常希望获得 HN 社区以及构建聊天或语音智能体的人们的反馈：你们目前如何检测这些信号？哪些反馈方法有效？什么会阻碍你们尝试这个？我们乐意回答问题并接受批评。</p>