团队如何大规模处理提示词质量保障?

Reddit r/AI_Agents 新闻

摘要

一位处理约4万次对话/月的公司从业者描述了手动提示词质量保障的瓶颈,并询问团队如何利用自动化系统在生产中检测回归问题和用户挫败感。

好奇团队在处理大量提示词质量保障时是如何操作的。我们目前每月约4万次对话,PM们手动阅读对话记录来找出: * 哪里出了问题 * 用户在哪里感到挫败 * 哪些提示词/工作流变更带来了帮助或损害 烦人的是,审查工作量几乎与对话量成正比增长。我们每个月会发布大量提示词更新,因此保持高质量正成为一个真正的瓶颈。我总觉得肯定有比“阅读更多对话记录”更好的方法。 大家是否真的在使用自动化系统来暴露生产中的问题/回归?比如: * “这个流程在版本X之后开始更多失败” * “这个分支中的用户流失更多” * “提示词变更后,这些对话变得更长” 老实说,我不是在寻找厂商推销——我更想了解在生产中真正有效的方法。
查看原文

相似文章