OR-License：将 LLM 智能体作为真实世界运筹优化实践者的评估

Hugging Face Daily Papers 论文
llm-agents operations-research benchmark evaluation feasibility client-simulation

摘要

OR-License 是一个端到端基准，评估 LLM 智能体能否直接从真实客户原始材料中解决运筹优化问题；结果显示部分模型目标质量很高，但没有一个达到专家级的可行性与部署调整后质量。

大语言模型（LLM）智能体能否在没有专家预先重构的情况下，直接依据客户原始材料交付专家级的运筹优化（OR）解决方案？现有的 OR 基准通常从自包含的描述或预定义的优化任务出发，低估了将原始业务材料转化为经专业验证的解决方案这一过程。我们提出 OR-License，这是一个端到端基准，涵盖来自付费 OR 项目、总额达 368 万美元的 10 个工业场景中的 31 个实例。该基准在去标识化后保留了原始需求、输入数据、交付格式以及信息边界。为研究信息获取过程，我们引入 ORSim——一个受控的客户模拟器，它披露业务事实但不提供 OR 专业知识。隐藏式评估检验可行性，并将目标质量与基准构建前客户认可的原始专家解决方案进行比较。部署调整后质量（DAQ）在各实例上对相对于专家的质量取平均，对不可行的交付记为零分。在使用编码智能体框架的 11 个前沿 LLM 中，有多个模型的条件目标质量超过专家参考值，但没有一个达到专家的 DAQ；最强的 Claude Code 主配置达到 88.39% 的严格可行性，DAQ 为 0.87，而专家参考值为 1。客户信息获取的范围超越了澄清阶段，延伸到方案开发与验证，其中某些后期阶段的已确认问题解决比例更高。轨迹分析识别出建模与实现层面的失败，而在可评估任务上，各模型经任务均衡后的研究链完成率介于 24% 到 45% 之间。这些发现表明，要构建可靠的长程智能体，需要持续解决信息缺口、忠实进行问题建模，并开展与证据挂钩的自我改进。
查看原文
查看缓存全文

缓存时间: 2026/10/20 03:33

论文页面 - OR-License：将 LLM 智能体作为真实世界运筹学从业者进行评估

来源：https://huggingface.co/papers/2610.24087 发布于 10 月 16 日

·

提交者https://huggingface.co/CedarWang

PSWang (https://huggingface.co/CedarWang)于 10 月 20 日发布

作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

OR-License 评估 LLM 智能体能否根据原始客户材料解决真实世界的运筹学问题，结果发现：部分智能体在客观质量上取得高分，但没有一个能匹敌专家级的可行性与部署调整后质量。

大语言模型（LLM）智能体能否在没有专家预先重构（https://huggingface.co/papers?q=formulation）的情况下，直接依据原始客户材料给出专家级的运筹学（https://huggingface.co/papers?q=operations%20research)（OR）解决方案？现有的 OR 基准通常从自包含的问题描述或预定义的优化任务出发，低估了将原始业务材料转化为经专业验证的解决方案这一环节。我们提出 OR-License（https://huggingface.co/papers?q=OR-License），这是一个端到端基准，包含来自 10 个工业场景的 31 个实例，取材于总金额达 368 万美元的付费 OR 项目。它在去标识化后保留了原始需求、输入数据、交付格式和信息边界。为研究信息获取过程，我们引入 ORSim（https://huggingface.co/papers?q=ORSim），一个受控的客户模拟器，它披露业务事实但不提供 OR 专业知识。隐藏评估会检查可行性（https://huggingface.co/papers?q=feasibility），并将客观质量与基准构建前已被客户接受的原始专家解决方案进行比较。部署调整后质量（DAQ，https://huggingface.co/papers?q=Deployment-Adjusted%20Quality）是各实例相对于专家的质量的平均值，对不可行的交付记为零分。在使用编码智能体框架的 11 个前沿 LLM 中，有多个在条件客观质量上超过专家参考基准，但没有一个达到专家的 DAQ；最强的主配置 Claude Code 达到了 88.39% 的严格可行性（https://huggingface.co/papers?q=feasibility），DAQ 为 0.87，而专家参考为 1。客户信息获取贯穿澄清之外，还延伸到方案开发与验证，其中一些后期阶段显示出更高的已确认问题解决比例。轨迹分析识别出问题构建（https://huggingface.co/papers?q=formulation）与实现（https://huggingface.co/papers?q=implementation）层面的失败；在可评估任务上，各模型的任务均衡研究链完成率介于 24% 到 45% 之间。这些发现推动了持续的信息缺口弥合、忠实的问题构建，以及与证据挂钩的自我改进，以构建可靠的长时程智能体。

查看 arXiv 页面 (https://arxiv.org/abs/2610.24087) 查看 PDF (https://arxiv.org/pdf/2610.24087) 项目主页 (https://www.or-license.com/) GitHub2 (https://github.com/NineAbyss/OR-License) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.24087)

在你的智能体中获取该论文：

hf papers read 2610.24087

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

没有模型链接该论文

在模型的 README.md 中引用 arxiv.org/abs/2610.24087 即可从本页面链接它。

引用该论文的数据集 1

OR-License/OR-License Viewer • 更新于约 1 小时前 • 92.6M • 385 • 8 (https://huggingface.co/datasets/OR-License/OR-License)

引用该论文的 Spaces 0

没有 Space 链接该论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.24087 即可从本页面链接它。

包含该论文的收藏夹 0

没有收藏夹包含该论文

将该论文添加到收藏夹 (https://huggingface.co/new-collection) 即可从本页面链接它。

相似文章

PORA：学习何时加强推理对 LLM 智能体更有价值

arXiv cs.AI

PORA 提出了一种配对结果引导的推理分配方法，让 LLM 智能体学习在何种状态与剩余预算下使用长推理更划算，在 BFCL memory 等任务上大幅提升性能并显著节省 token 与模型请求。

COOPA：一种面向运筹学问题的模块化LLM智能体架构

arXiv cs.LG

本文介绍了COOPA，一种面向运筹学问题的模块化LLM智能体架构，它结合了基于迭代置信度的建模、元素级溯源和多求解器路由。在八个LLM主干网络和四个基线的评估中，COOPA在六个主干网络上取得了最佳的宏平均准确率，并在最强基线的基础上提升了最多6.7个百分点。