当标签稀缺时优化如何发挥作用 [R]

https://www.gnosyslabs.com/case-studies/safety-classifier-sparse-labels Gnosys 是一款自主模型工程师：当真实标签过于稀疏而无法进行常规优化时，它能改进提示和分类器。在公开的安全基准测试 ToxicChat 上，在现实的标签稀缺条件下，通过我们当前方法的两次运行，它改进了一个分类器，使其超越了团队的初始点和 GEPA（一种标准提示优化器）。本文描述了我们的做法、发现以及该方法表现不足的地方。 ## 结果 我们报告的是捕获的有害内容：在每种方法将假阳性率固定在5%（即二十分之一）的前提下，标记的有害消息比例，因此差异反映了在相同成本下额外捕获的有害内容，而非阈值的改变。以下两次运行均针对模型从未见过的保留集进行评分。 | 运行 | （3,000）标题运行 | （1,000）先前运行 | |------|------------------|------------------| | Gnosys | 0.777 | 0.909 | | 初始分类器 | 0.731 | 0.788 | | GEPA | 0.702 | 0.848 | 在两次运行中，Gnosys 均优于初始分类器和 GEPA。在标题运行中，GEPA 不仅落后于 Gnosys，还低于初始分类器（0.731 到 0.702）；在先前运行中，它改进了初始点。这种不一致性是稀疏标签下的核心困难：优化有时有帮助，有时有害，而缺乏可信的测量就无法判断发生了哪种情况。 对比是故意保守的：两种方法使用相同的底层优化器。唯一的区别是 Gnosys 设计了优化器要优化的目标。 ## 问题 运行高风险 AI 分类器的团队（在内容审核、欺诈、索赔审查和风险评分中）都面临一个约束：他们需要的真实标签是人类判断，这种判断昂贵、缓慢，有时永远不会到来。他们只能验证一小部分示例，而决策则堆积在其他所有内容上。针对手头的少数标签调整模型正是困难集中的地方。 这里的“少数”是字面意思：大约 200 个验证标签，其中实际有害的只有约 8 个，而未经标记的消息有几千条。如此微弱的验证信号下，优化器会拟合这些示例中的噪声，而不是底层模式，其移动方向取决于它恰好收到的少数标签。 ## Gnosys 的不同之处 GEPA 会改进它收到的任何评估信号。这是它的工作，它做得很好，Gnosys 也使用它。但 Gnosys 更进一步。作为自主模型工程师，它会判断可用信号是否足够可信以供优化，如果不是，则会从稀疏标签中设计一个更好的目标，并针对该目标重写提示和分类器。提示优化只是循环中的一步。Gnosys 自动化了整个工程周期。 Gnosys 不是直接信任少量标签，而是将小型验证集与大型未标记池融合成一个校准的质量估计，并进行逐片校准和显式检查，以标记信号是否不足以采取行动。在两次运行中，针对该校准目标进行优化，都使用相同的标签，结果优于初始分类器和 GEPA。 ## 逐片证据 以下图表是针对保留测试标签计算的，这些是全标签真值，部署时不会拥有。它们是针对小型正向子集的点估计，因此我们附上了每个子集的计数，并且这些不是系统从稀疏标签中产生的估计。由于单个聚合可能隐藏某个类别内的回归，我们报告了每个切片，包括损失。所有图表均在标题运行中将 Gnosys 与 GEPA 进行比较。 按消息长度（测试集的完全划分）： | 长度 | 有害示例数 | 相对 GEPA 的变化 | |------|-----------|------------------| | 短（约 80 字符以下） | 81 | −18.5 个百分点 | | 中等 | 51 | +21.6 个百分点 | | 长/多步骤（200+ 字符） | 106 | +20.8 个百分点 | 按有害内容类别（安全团队的工作切片）： | 类别 | 有害示例数 | 相对 GEPA 的变化 | |------|-----------|------------------| | 暴力相关 | 21 | +23.8 个百分点 | | 越狱尝试（经独立验证） | 49 | +8.2 个百分点 | | 色情内容 | 63 | −7.9 个百分点 | 收益集中在需要最多推理来判断内容的场景：暴力意图、蓄意越狱和更长的多步骤消息，在这些场景中，稀疏标签让标准模型只能猜测。两个切片朝相反方向移动，原因不同。 短消息（最大的切片）并非模型失败：Gnosys 对短文本有害性的排序至少与 GEPA 一样好。较低的召回率是工作点的正常表现。在单一假阳性预算下，聚合最优阈值将警报集中到有害内容最密集的地方，即较长消息。为每个片段设定预算可将短消息召回率提高到约 0.90，但会将聚合从 0.78 降低到 0.71。 色情内容是真正的局限：在这个小切片上（77 条消息中有 63 条有害），模型排序更差，切片本地阈值也无法挽回。这些回归为未来的优化指明了方向，正是系统旨在部署前暴露的那种切片级故障。（仇恨言论和编码相关内容在本运行中分别只有 3 个和 6 个有害示例，太少无法估计，因此我们将其排除。） ## 未来方向 我们选择安全领域是因为 ToxicChat 是一个干净、外部、高风险的基准，但该方法并非安全专用。当用于优化的真实标签稀缺、昂贵或延迟时，同样的约束在欺诈检测、索赔裁决、合规审查、信用和风险评分、支持路由和推荐系统中反复出现。在这些领域中，任务是相同的：设计一个可信的目标，相应地改进模型，验证结果，然后重复。这正是 Gnosys 自动化的内容。 ## 方法论 结果基于 ToxicChat（一个公开安全基准），在模型从未见过的保留数据上评分，假阳性率固定为 5%。校准集和测试集不重叠，并且跨划分去除精确重复消息，以防校准数据泄漏到评估中。两次三向结果均为单种子，且属于当前系统的最早运行：标题运行在 3,000 条消息的保留集上（0.731 / 0.702 / 0.777），另一次单独运行在 1,000 条消息的划分上（0.788 / 0.848 / 0.909）。多种子试验以附加置信区间正在进行中。切片级数字在标题运行中将 Gnosys 与 GEPA 进行比较，并包含所有具有足够正例以进行估计的切片；由于此规模下数字仅为方向性，因此显示计数。