o-net

标签

Cards List
#o-net

顺序对了,尺度却错了:面向职业层面 AI 测量的 LLM 评审员审计

arXiv cs.AI ↗ · 2026-10-05 缓存

MIT 的 Neil Thompson 提出 O*NET-BENCH 审计套件,评测 33 种 LLM judge 配置,发现排序一致性虽高但接受率估计偏差极大(3.0%–97.9% vs 工人实际的 61.1%),表明仅凭排序一致性选择 judge 不足以支撑职业层面的 AI 测量。

0 人收藏 0 人点赞
#o-net

JobBench:让智能体工作与人类意愿对齐

arXiv cs.AI ↗ · 2026-05-27 缓存

JobBench 是一个基于工人调查构建的基准,用于评估 AI 智能体在工人最希望自动化的任务上的表现,涵盖 35 个职业的 130 个任务,并配备详细的评分细则。

0 人收藏 0 人点赞
#o-net

知识工作的设计与报告基准

arXiv cs.AI ↗ · 2026-05-25 缓存

本文提出一个三步框架,用于设计和报告知识工作AI的基准,强调基准任务与实际工作活动之间的一致性。它从O*NET数据库中推导出18种工作活动,并分析了三个现有基准(GDPval、OfficeQA Pro、APEX-SWE),以展示基准分数与实际工作能力之间的差距。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈