WuYuEval：面向固体废物管理的大语言模型多层级基准

arXiv cs.CL 2026/08/11 04:00 论文

摘要

WuYuEval 是一个用于评估固体废物管理领域大语言模型的多层级基准，涵盖基础知识、领域推理和专家决策。它包含 4,590 道多选题和 247 道基于场景的开放式问题，并报告了 33 个 LLM 的表现。

arXiv:2608.07529v1 公告类型：新摘要：大语言模型（LLM）正越来越多地被用作技术助手，但其在固体废物管理（SWM）领域的能力仍难以评估，因为现有基准侧重一般知识，而非工程、环境和政策约束下的专业决策。我们推出了 WuYuEval，这是一个多层级基准，用于评估 LLM 在 SWM 中的基础知识、领域推理和专家决策。经过质量审核后，WuYuEval 包含一个基础模块（含 4,590 道涵盖六种任务类型和八个领域类别的封闭式选择题），以及一个专家模块（含 247 道基于场景的开放式问题，涉及多目标优化、约束权衡和系统设计）。对于专家任务，我们将锚定校准的 LLM-as-a-Judge 评分与基于 Elo 的成对比较相结合。在 33 个 LLM 中，性能差异很大。领先模型在基础模块上达到 94.64\% 的准确率，但平均准确率从简单题的 84.14\% 下降到难题的 42.50\%，较低的表现集中在计算、实验设计、城市规划和开放式专家任务上。审计后，面向推理的 Thinking 模式改善了大多数匹配的模型对，但收益取决于基线能力，并非一致为正。这些结果表明，只有当可见的推演过程锚定在单位、假设和工程约束上时才有帮助；否则，它可能偏离决定性的答案边界。因此，WuYuEval 既提供了评估资源，也为开发具有专业推理链和显式约束控制的面向 SWM 的基础模型提供了实证基础。

查看原文

查看缓存全文

缓存时间: 2026/08/11 08:05

# WuYuEval：面向固体废物管理的大语言模型多层级基准

来源：https://arxiv.org/html/2608.07529

Yi Zhang1,∗Hongyang Wang2,∗Zheng Hao Leong1Zihao Wu1 Kaijun Lin1Zhixing Pan1Qixun Huangfu3Wei Ren4 Wenyan Wu5Fangyun Wang6Wenting Yu1Hengyu Lin1 Muling Yang7Zongguo Wen1,†

1清华大学环境学院，北京，中国\. 2复旦大学，上海，中国\.3南京大学，南京，中国\. 4首都师范大学，北京，中国\.5腾讯科技（深圳）有限公司，深圳，中国\. 6中国石油大学（北京），北京，中国\.7清华大学探微书院，北京，中国\. ∗同等贡献\.†通讯作者：wenzg@tsinghua\.edu\.cn（温宗国）\.

###### 摘要

大型语言模型（LLMs）越来越多地被用作技术助手，但它们在固体废物管理（SWM）方面的能力仍然难以评估，因为现有基准侧重于通用知识，而非工程、环境和政策约束下的专业决策。我们推出了 WuYuEval，这是一个多层级基准，用于评估 LLM 在 SWM 中的基础知识、领域推理和专家决策能力。经过质量审核，WuYuEval 包含一个基础模块（Foundation Module），涵盖六种任务类型和八个领域类别下的 4,590 道封闭式选择题；以及一个专家模块（Expert Module），包含 247 道基于场景的开放式问题，涉及多目标优化、约束权衡和系统设计。对于专家任务，我们将锚定校准的 LLM-as-a-Judge 评分与基于 Elo 的成对比较相结合。在对 33 个 LLM 的评估中，性能差异显著。领先模型在基础模块上达到了 94.64% 的准确率，但平均准确率从简单问题的 84.14% 下降到困难问题的 42.50%，较低性能主要集中在计算、实验设计、城市规划和开放式专家任务上。面向推理的 Thinking 模式在审核后改善了大多数匹配的模型对，但收益

WuYuEval：面向固体废物管理的大语言模型多层级基准

相似文章

大型语言模型响应的全面评估：多因素评分系统

GaoYao基准：全面评估大模型多语言与多文化能力的新框架

Elmes*：长尾教育场景下大型语言模型细粒度评估标准的自动构建

Know2Guess：一种面向大型语言模型知识边界评估的污染感知多区域基准

超越准确率：大型语言模型统计推理的多维评估

提交意见反馈