标签
一篇立场论文主张，AI 开发应超越将单一 ground truth 视为绝对标准的做法，转而对合理的人类判断空间进行建模，同时区分有意义的模糊性与标注噪声。
Adobe 论文提出了一种评估方法：让代码在每次运行时从实时数据中重新计算正确答案，再以此作为评判依据。在 53 个测试用例上，AI 评分器的表现比基于文字描述的评分方式高出 29%，且 token 用量减少 16%。
Era by Eon 基准测试生成一个完整的虚构企业，包含模拟器和数据库，用于评估LLM代理在企业工具上的表现，提供精确的基准真相以实现准确评分。
一位开发者分享了为没有用户的AI产品创建黄金标准评估数据集的挑战，考虑了合成数据生成和对抗性测试，以避免发布后的重构。
本立场论文认为，机器学习中的真实标准数据集并非客观真理，而是由选择塑造的人为构建，并主张阐明这些选择以提高可靠性、透明度和问责性。
介绍一种生成框架，利用LLM代理将行为异常注入模拟轨迹中，并应用运动约束和地图约束，生成带有真实标签的逼真异常移动数据。