economic-grounding

OmegaUse-OfficeVal是一个基准测试，用于评估LLM代理在长期办公套件任务中的表现，并结合经济基准，比较人力成本与LLM推理成本。该基准包含100个任务，每个任务需要约2.3小时的人力劳动。研究发现，前沿LLM虽然更便宜、更快速，但质量仍低于人类水平。