评估了两个模型在同一个分类任务上的表现，其中一个将卡拉OK之夜标记为音乐活动

为发现平台构建了一个事件分类系统。每个事件在14个维度上评分，包括类型、子类型、能量、情感基调、纹理等所有方面。我在信任任何模型投入生产之前，对251个真实事件进行了正式评估。GPT-4o-mini的失败方式可能会悄无声息地扼杀产品。52.5%的事件被归类为eclectic / open format，这是模型版本的耸肩。当一半目录共享一个标签时，类型过滤就无用了。它还实现了0%的非音乐过滤，因此问答之夜、卡拉OK和保龄球都被分类为音乐事件而不是被排除。一半事件的子类型字段为空。GPT-4o在相同任务上：19.1% eclectic，100%非音乐过滤，98%子类型填充。生产就绪，但这里有一个适用于每个代理构建的发现。两个模型将置信度分数固定在0.90，应用于超过90%的事件。置信度字段是装饰性的。你无法用它将不确定的案例路由到人工审查，这正是你首先要求置信度分数的全部原因。我不断重新学习的教训是：“在测试中看起来正确”并不是评估。在发布前统计真实数据上的失败，并将自报置信度视为不可信，直到你检查了其分布。有没有人拥有一个真正有效的置信度校准方法，还是每个人都在从模型自身的数字之外派生不确定性？