标签
OpenAI 发布 Signals 数据集,覆盖近 100 个国家、165 类中间工作活动(IWA),揭示消费者如何在工作中使用 ChatGPT,供研究人员分析 AI 对经济与就业的影响。
本文提出一个三步框架,用于设计和报告知识工作AI的基准,强调基准任务与实际工作活动之间的一致性。它从O*NET数据库中推导出18种工作活动,并分析了三个现有基准(GDPval、OfficeQA Pro、APEX-SWE),以展示基准分数与实际工作能力之间的差距。