我复现智能体的失败,并将其简化为最小案例。所以核心问题是:我该去哪里找到有这方面需求的团队?

Reddit r/AI_Agents 新闻

摘要

一位独立从业者介绍了一项服务:复现 AI 智能体的故障,并将其精简为最小可复现测试用例。在主动联系潜在客户却未收到任何回复后,他向社区询问去哪里寻找试用客户。

我先说说我实际在做什么,再请教一些建议,因为我卡在找客户这一步了。我独自经营一个小型服务,面向开发 AI 智能体的团队。你应该知道这种故障模式:智能体在演示中表现正常,随后客户发来一段对话记录,显示它做出了离谱的行为,却没人能复现。或者,评测框架告诉你,在周二到周四之间、涉及两百条提示词的测试中出现了回归问题,除此之外就没有更多信息了。我做的就是处理这些问题。首先,我会在严格受控的条件下复现故障:在第一次调用模型之前,就固定测试用例集和调用预算;每个用例都由两个独立的判定器评分,而且两者必须达成一致。适配器错误与错误答案分开记录,因此超时绝不会被算作模型犯傻。接着,我会在限定预算内搜索,缩减触发故障的用例:最小用例仍然失败,而所有更小的候选用例都能通过。然后你修复问题,我再用最小用例验证修复效果,并交给你一个可以自行运行的测试。举个来自我自己记录的例子,不涉及客户项目:某个云端模型在一个包含 8 步操作的状态机用例上失败,经过 33 次调用,用例被缩减到了 2 步操作。原始用例和这个 2 步用例各运行 3 次,都是 3 次全部失败。所有只含 1 步操作的候选用例都能通过。这就是交付成果:不是一句“模型有问题”,而是能触发故障的最小输入,以及一个能捕捉该故障的测试。方法行得通,生意却还没做起来。我已经给十几家 B2B 集成商和智能体团队发了邮件,没有收到任何回复。所以,能否请你给些建议:我应该把精力放在哪里,又该去哪里寻找愿意试用这项服务的客户?
查看原文

相似文章