我们如何尽可能让AI增长代理值得信赖

我正在构建一个名为Alice的AI增长代理，面向独立SaaS创始人或小团队。每天早晨，她读取你的GA4、Search Console和其他数据源，指出你的漏斗中真正泄漏的部分，并给你一个行动建议。困难的部分从来不是让她听起来聪明，而是让她停止用真实数字撒谎……哈哈 我自己仪表盘上的三个例子： - “你的106次会话中有59次来自accounts.google.com。”两个数字都是真实的。但59属于另一个渠道。真正的答案是32。 - “本周5次点击，比上周的4次下降。”这其实是上升。 - 她已经拿到了25行搜索查询数据，却让我去Search Console导出查询数据。这个任务她早就完成了。 这些看起来都不像幻觉。这正是它们危险的地方。真实数字出现在错误的句子里，读起来就像权威结论。 实际有效的方法，按顺序如下： 关键路径上的确定性代码 这就是核心，下面所有内容都是它的应用。确定产品承诺所依赖的哪些输出部分，把这些部分从模型中移除。我们曾有覆盖上述所有失败的提示规则。实测合规率约为70%。用于语气没问题，用于事实则毫无用处。如果一条规则必须每次都成立，那它应该存在于代码中，而不是提示里。 用事实集验证，而不是凭感觉检查 在模型看到任何内容之前，代码会构建所有合法存在的数字：每个值、每个总计、每个来源小计，以及合理的派生数据。模型写完后再把每个数字匹配回去。匹配必须有范围：在某句话中关于一个流量来源的数字，必须属于该来源。简单的“这个数字是否出现在某处”检查会让那个59通过。 重试一次，并指出具体违规 不是“再试一次”。重试时会得到违规句子和原因。保留违规更少的版本，并记录任何通过检查的内容。 代码决策，模型书写 对相同数据刷新两次，我得到了两个不同的“首要问题”。现在由代码为漏斗各层打分并选出瓶颈，Alice只需用简洁的英文写出这个结论。如果标题提到了不同的层，就会失败并重试。相同数据，相同结论，每次如此。 不要让模型做数学运算 每个合法的派生数字都在服务端计算好后交给模型。模型在文案里做算术就是一个bug制造机，而且任何检查器都无法区分真正的口算和看起来像巧合的编造。 对检查器的测试要比对模型的测试更严格 我最喜欢的bug：检查器把单词“directly”误读为Direct流量渠道，判定那句话中的数字归属错误，并否决了她有史以来产出过的最佳简报。结果发布的是那个“作业”版本。误报破坏优质输出的可靠性，与幻觉产出劣质输出的可靠性相当。我现在的大部分测试套件都是为了证明正确的句子能通过。 给人们一本操作手册，而不是一个空白的聊天框 准确性只是信任的一半。另一半是，大多数创始人不知道该怎么问分析代理，所以聊天框会让他们觉得自己很蠢，然后离开。Alice会先给出结论和已经选好的一个行动建议，后续问题也是预设好且可点击的。代理决定今天值得问什么。用户决定是否采取行动。等待完美提问的代理只是一面镜子。 Alice已上线，可免费试用。如果你想让她分析你自己的网站，看看她会说什么，链接在评论区。如果你正在构建向用户报告数字的代理，你如何验证输出？我添加的每项检查都发现了问题，这让我怀疑，目前大多数已上线的代理出错的频率比用户知道的还要高。:-)