102张原始库存照片 → 22个实时eBay列表。现在我正尝试减少AI使用

我通过我一直在构建的库存系统运行了第二批数据，这改变了我对实际难点的看法。对于没看过第一篇文章的人，批次1是40多张原始照片，涵盖11个随机转售物品。目标不仅仅是让AI描述图片。我想看看从实际库存照片输入系统到输出可用eBay列表能走多远。所有11个物品都被识别、研究、转化为产品记录并推送到Seller Hub。第一次运行暴露了许多在演示中不会出现的问题。运输尺寸需要与产品尺寸区别对待。某些类别强制执行不同的退货政策。市场字段在提交后可能会更改。一个奇怪的物品可能会卡住后续所有内容。我也很快意识到，模型说它很自信本身几乎毫无意义。批次2是102张照片，涵盖另外22个物品。所有22个都准备好了，并且最终都成功发布。17个被明确识别，5个故意保留更通用，因为没有足够证据证明精确识别。只有4个需要系统已有信息之外的外部研究。没有需要我告诉它产品是什么的。让所有22个上线很有用，因为它让我更清楚地看到实际在哪里会出错。一个列表在与市场交互时价格被更改。另一个需要特定类别的安全免责声明。运输将一个物品推入手动审核。市场行为本身变成了我必须验证的东西，而不是假设我提交的数据就是最终上线的数据。更有趣的失败是在推理方面。我一直刻意测试系统是否因为错误的原因得出正确答案，因为我认为这是这类自动化中更危险的失败模式之一。一个物品有两个相同的物理单元。系统最终产生了正确的数量2，但它用来证明这个数量的证据路径实际上并不充分。我将其计为失败。这个区别对我来说变得非常重要。如果答案正确是因为模型猜对了，我不希望它通过验证。否则，我基本上是在训练系统进行无依据的推理，直到猜错的那天。我专门针对这种情况添加了回归测试，这样通过无依据推理达到的正确输出仍然会失败验证。在这两批共31个实际物品中，目前有一个由系统本身造成的已知重大逃逸错误，占1/31或3.23%。如果包括市场引起的价格突变，就是2/31，或6.45%。显然是小样本，但我宁愿现在就开始测量，而不是仅仅说系统“有效”。这可能是我目前最大的发现。让AI正确识别一个物品一次真的不再是难题。让它以正确的理由做到，知道证据不足时如何处理，适应市场怪异，然后可靠地大规模重复这个过程要困难得多。模型还很喜欢配合你给出的任何前提。如果你提出一个识别，它可能非常擅长寻找支持你的证据，而不是试图证明你是错的。多次迭代有帮助，但两次迭代可能同意相同的错误假设。所以我正在将更多权限从模型本身转移出去。如果信息无法实际支持，它就保持空白或被退回，而不是猜测。自信度可以帮助优先处理审查，但不会自动授权执行。诸如可逆性、财务风险、客户影响和账户风险等因素决定了系统获得多少权限。我也开始认为，为每一步使用通用模型和浏览器是扩展的错误方式。下一个版本将把无聊的工作移出代理。本地条形码/OCR、精确记录匹配、缓存研究和规则、确定性模板和状态处理应该能以低成本处理普通库存。模型只在真正需要歧义或推理时才被调用，市场API应在可能时处理执行，而不是让AI一遍又一遍地视觉操作网站。我已经开始构建这一方面。当前的缓存回归覆盖33个物品和149张照片，并通过149次缓存命中和零假匹配。更重要的是，回归现在包括已知故障案例，而不仅仅测试之前成功的物品是否仍然有效。eBay API方面也已启动。我故意将其停在机器本地OAuth和只读GetItem访问，同时等待eBay开发人员批准。我使用一个现有的J&J列表作为测试目标，API工作中不允许修改实时列表。所以我认为我的问题自批次1以来已经改变。基本上是“我能给AI一堆随机物理库存，让它找出所有东西并列出吗？”在33个实际物品、149张照片和整个第二批发布后，我相当确信答案是是的。现在我更感兴趣的是我实际需要多少AI。有多少部分可以变得确定、缓存和低成本？模型何时真正需要推理？什么证据应该赋予它执行权限？哪些故障应该自动将某事退回给人类？我能否将成本和错误率降低到同一架构在数百或数千个物品中都有意义？这似乎比让另一个演示工作一次有趣得多。