深入解析 Agentic BBO:面向黑盒优化的 LLM 智能体基准评测

Hugging Face Daily Papers 论文

摘要

提出 AgenticBBO-Bench 跨领域基准,在统一有限预算评估协议下评估 LLM 智能体的黑盒优化能力;实验表明 agentic BBO 在五个领域均优于基于直接 LLM 的方法,并在其中四个领域超越最佳数值优化器,GPT-6 Astra 与 DeepSeek-V4.1-Flash 位于性能-成本 Pareto 前沿。

黑盒优化(BBO)广泛存在于众多科学与工程问题中,其目标函数评估代价高昂且次数有限。近期的大语言模型(LLM)智能体为解决 BBO 提供了一种新途径,通过结合任务语义、计算能力、优化工具与反馈驱动的决策机制,并借助与数学上严谨的工具的集成,展现出巨大潜力。然而,现有的 agentic BBO 研究在任务领域和系统配置上各不相同,导致其结果难以相互比较,也难以分离各个设计选择的独立影响。为此,我们提出了 AgenticBBO-Bench——一个面向 agentic BBO 的跨领域基准,涵盖合成函数、超参数优化、数据库调优、芯片设计与分子设计五大领域,并采用统一的有限预算评估协议。实验结果表明,agentic BBO 在全部五个领域的族平均得分均高于基于直接 LLM 的方法,并在其中四个领域超越了最佳数值优化器。我们进一步研究了影响智能体性能的三个因素:优化工具、任务信息与先验知识,以及 LLM 在搜索过程中的作用。结果表明,额外的数值工具并不总能带来性能提升,任务语义具有广泛的实用价值而更具体的先验则不够可靠,同时数值优化器能够有效吸收由智能体建立的搜索轨迹所带来的收益。最后,我们在 AgenticBBO-Bench 中引入了一项五任务前沿挑战,并在 Codex 智能体框架下评估了七个 LLM,其中 GPT-6 Astra 与 DeepSeek-V4.1-Flash 在被评估模型中位于性能与成本的 Pareto 前沿。代码已开源:https://github.com/lamda-bbo/agentic-bbo。
查看原文
查看缓存全文

缓存时间: 2026/10/09 14:22

论文页面 - 深入探究 Agentic BBO:面向黑盒优化的 LLM 智能体基准评测

来源:https://huggingface.co/papers/2610.12183

作者:

,

,

,

,

,

,

,

,

,

,

摘要

黑盒优化(Black-Box Optimization, BBO)广泛存在于众多科学与工程问题中,这些场景中目标函数的评估代价高昂且机会有限。近期,大语言模型(LLM)智能体为 BBO 提供了一种新的方法,通过将任务语义、计算、优化工具与反馈驱动的决策相结合,凭借与数学严谨工具的集成展现出巨大潜力。然而,现有的 agentic BBO 研究采用了不同的任务领域和系统配置,使得其结果难以横向比较,也难以分离各个设计选择的独立影响。为此,我们提出了 Agentic BBO-Bench——一个跨领域的 agentic BBO 基准,涵盖合成函数、超参数优化、数据库调优、芯片设计和分子设计等五个领域,并在统一的有限预算评估协议下进行评测。在我们的实验中,agentic BBO 在全部五个领域的族平均得分均高于直接基于 LLM 的方法,并在其中四个领域超越了最优的传统数值优化器。我们进一步研究了影响智能体性能的三个因素:优化工具、任务信息与先验知识,以及 LLM 在搜索过程中的角色。我们的结果表明,额外的数值工具并不能一致地提升性能;任务语义被广泛利用,而更具体的先验知识则不够可靠;数值优化器可以有效地吸收由智能体建立的搜索轨迹所带来的收益。最后,我们在 Agentic BBO-Bench 中引入了一个五任务的前沿挑战,并在 Codex 智能体框架下评测了七个 LLM,其中 GPT-6Astra 和 DeepSeek-V4.1-Flash 在性能与成本之间处于所有被评测模型的帕累托前沿。我们的代码已开源:https://github.com/lamda-bbo/agentic-bbo。

查看 arXiv 页面 (https://arxiv.org/abs/2610.12183) 查看 PDF (https://arxiv.org/pdf/2610.12183) GitHub1 (https://github.com/lamda-bbo/agentic-bbo) 加入收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.12183)

在你的智能体中获取此论文:

hf papers read 2610.12183

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型:0

暂无模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.12183,即可从此页面链接该论文。

引用此论文的数据集:0

暂无数据集关联此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.12183,即可从此页面链接该论文。

引用此论文的 Space:0

暂无 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.12183,即可从此页面链接该论文。

包含此论文的收藏集:0

暂无收藏集包含此论文。

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接它。

相似文章

BBOWP-Bench:评估LLM在黑盒优化文字问题上的性能

arXiv cs.CL

介绍了BBOWP-Bench,一个用于评估LLM在黑盒优化文字问题上的基准测试套件。在这些问题中,系统必须从自然语言描述中推断搜索空间和优化算法。初步结果显示,LLM能够选择合适算法,但在搜索空间设计方面存在困难。

InferenceBench:面向AI代理的开放式LLM推理优化基准测试

arXiv cs.AI

InferenceBench是一个基准测试,用于评估AI代理在多个瓶颈场景下使用H100 GPU优化LLM推理速度的表现。结果显示,代理虽然优于简单基线,但常常收敛于单一框架,且性能不及简单的超参数搜索,表明需要更好的探索策略。

世界不会等待:在实时计时下评估与训练智能体

arXiv cs.AI

论文提出 RealtimeBench,包含六类游戏共180个任务,在推理期间游戏持续运行来评估 LLM 智能体的实时决策能力,并提出 TORSI 双时间尺度自我改进方法,将 Jev 模型平均分从 13.51 提升至 24.19。