在发布前制造一个黄金标准评估数据集

Reddit r/AI_Agents 新闻
evaluation synthetic-data ai-launch datasets ground-truth adversarial-testing braintrust

摘要

一位开发者分享了为没有用户的AI产品创建黄金标准评估数据集的挑战，考虑了合成数据生成和对抗性测试，以避免发布后的重构。

说实话，我在一个发布前的项目上卡住了，评估策略遇到了瓶颈。标准的建议是从生产日志中构建数据集，但我们现在完全没有用户，这根本行不通。我需要在上线前有一个基线和黄金标准，但这感觉就像凭空制造 ground truth。现在，我花了太多时间构建合成用户和对抗性角色，基本上是在暴力尝试人类可能破坏提示或触发幻觉的每一种方式。这感觉像是做了很多繁重的工作，结果可能无法反映真实用户的情况。我真的很想避免过度设计一个虚假的数据集，导致上线第一天就失去意义，但也不想在后期进行大规模重构。我正在使用 Braintrust 来管理版本和评估，以保持单一事实来源，但我仍在努力找出最佳的结构方式，以便将来平滑地过渡到真实追踪数据。对于最近发布过产品的朋友，你们是怎么处理零日数据集的？是全用合成数据，还是直接上线然后在生产环境中修改？
查看原文

相似文章

值得信赖的第三方评估共享手册

OpenAI Blog

OpenAI分享了关于设计值得信赖的前沿模型第三方评估的经验教训和推荐方法，强调了评估框架和有效性检查的关键作用。