我们向用户提供了AI定价答案的置信度分数。他们忽视了它，要求查看来源数据。

我们正在为一支B2B销售团队构建定价代理。问题很简单：当销售代表需要一个粗略价格时，他们需要等待1-3天才能获得供应商报价。该代理旨在秒级提供该数字。V2版本涵盖了V1的缺失内容：销售价格、租赁价格、运费标记，以及每个答案的置信度分数。我们向大约20名用户展示了它。然后有趣的部分来了：没有人关心置信度分数。第一个问题是关于一个具体例子的。一位销售代表看着一个价格说：“这不对。”不是“分数低”，而是“我不相信这个数字。”随后出现了塑造之后一切的请求：向我展示这个数字来源的订单。一旦你思考销售代表的实际工作方式，这就说得通了：置信度分数是模型衡量自身信任度的指标。这与销售代表信任答案是不同的。销售代表将价格呈现在客户面前时需要为其辩护。“AI有87%的把握”不是辩护。“我们在三月以这个价格卖过相同的商品”才是。如果你看不到数字的来源，你就无法发现错误。而确实有一个错误：在演示中，代理显示的列表价格为126美元，而源数据显示为134美元。一个小失误，但正是那种销售代表只有在来源就在眼前时才会发现的错误。这次会议另一个有用的收获是了解用户真正想在哪里使用这个工具。它非常适合对特定物品进行快速内部检查。它不适合用于合同定价或在没有规格的情况下为整个项目做预算。这没问题。一个只做一件事并受到信任的工具，胜过一个做五件事但没人使用的工具。对于任何构建内部代理提供人们必须负责的数字的人，我会说：在添加分数之前先展示来源。用户信任他们可以检查的东西。向持怀疑态度的人展示，而不仅仅是向倡导者展示。一个持怀疑态度的销售代表教会我们的东西比一周的内部质量保证还多。尽早明确任务。“用于内部检查的即时粗略价格”和“可报价定价”是不同的产品。人们不信任一个数字是因为模型说它自信。他们信任它是因为他们能看到它的来源。