ai-measurement

MIT 的 Neil Thompson 提出 O*NET-BENCH 审计套件，评测 33 种 LLM judge 配置，发现排序一致性虽高但接受率估计偏差极大（3.0%–97.9% vs 工人实际的 61.1%），表明仅凭排序一致性选择 judge 不足以支撑职业层面的 AI 测量。

GaitVista是一个可靠性感知的AI测量层，它使用轻量级门控机制，从摄像头和惯性传感器数据中分配关节特定的视觉贡献，以减少错误并提高在无障碍环境中纵向步态评估的准确性。

Anthropic分享三个关键指标来跟踪AI发展进展，包括AI主导的研发、代理监督和计算资源分配，以增强公共透明度。

AI 现在可以利用智能手机摄像头测量距离，许多任务不再需要物理卷尺。