深入解析 Agentic BBO:面向黑盒优化的 LLM 智能体基准评测
摘要
提出 AgenticBBO-Bench 跨领域基准,在统一有限预算评估协议下评估 LLM 智能体的黑盒优化能力;实验表明 agentic BBO 在五个领域均优于基于直接 LLM 的方法,并在其中四个领域超越最佳数值优化器,GPT-6 Astra 与 DeepSeek-V4.1-Flash 位于性能-成本 Pareto 前沿。
查看缓存全文
缓存时间: 2026/10/09 14:22
论文页面 - 深入探究 Agentic BBO:面向黑盒优化的 LLM 智能体基准评测
来源:https://huggingface.co/papers/2610.12183
作者:
,
,
,
,
,
,
,
,
,
,
摘要
黑盒优化(Black-Box Optimization, BBO)广泛存在于众多科学与工程问题中,这些场景中目标函数的评估代价高昂且机会有限。近期,大语言模型(LLM)智能体为 BBO 提供了一种新的方法,通过将任务语义、计算、优化工具与反馈驱动的决策相结合,凭借与数学严谨工具的集成展现出巨大潜力。然而,现有的 agentic BBO 研究采用了不同的任务领域和系统配置,使得其结果难以横向比较,也难以分离各个设计选择的独立影响。为此,我们提出了 Agentic BBO-Bench——一个跨领域的 agentic BBO 基准,涵盖合成函数、超参数优化、数据库调优、芯片设计和分子设计等五个领域,并在统一的有限预算评估协议下进行评测。在我们的实验中,agentic BBO 在全部五个领域的族平均得分均高于直接基于 LLM 的方法,并在其中四个领域超越了最优的传统数值优化器。我们进一步研究了影响智能体性能的三个因素:优化工具、任务信息与先验知识,以及 LLM 在搜索过程中的角色。我们的结果表明,额外的数值工具并不能一致地提升性能;任务语义被广泛利用,而更具体的先验知识则不够可靠;数值优化器可以有效地吸收由智能体建立的搜索轨迹所带来的收益。最后,我们在 Agentic BBO-Bench 中引入了一个五任务的前沿挑战,并在 Codex 智能体框架下评测了七个 LLM,其中 GPT-6Astra 和 DeepSeek-V4.1-Flash 在性能与成本之间处于所有被评测模型的帕累托前沿。我们的代码已开源:https://github.com/lamda-bbo/agentic-bbo。
查看 arXiv 页面 (https://arxiv.org/abs/2610.12183) 查看 PDF (https://arxiv.org/pdf/2610.12183) GitHub1 (https://github.com/lamda-bbo/agentic-bbo) 加入收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.12183)
在你的智能体中获取此论文:
hf papers read 2610.12183
还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型:0
暂无模型关联此论文。
在模型 README.md 中引用 arxiv.org/abs/2610.12183,即可从此页面链接该论文。
引用此论文的数据集:0
暂无数据集关联此论文。
在数据集 README.md 中引用 arxiv.org/abs/2610.12183,即可从此页面链接该论文。
引用此论文的 Space:0
暂无 Space 关联此论文。
在 Space README.md 中引用 arxiv.org/abs/2610.12183,即可从此页面链接该论文。
包含此论文的收藏集:0
暂无收藏集包含此论文。
将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接它。
相似文章
AgentHPOBench:评估LLM智能体作为顺序超参数优化器的基准
介绍了AgentHPOBench,这是一个顺序基准,用于在30个机器学习任务中评估LLM智能体作为超参数优化器的表现,结果显示当前智能体具有可测量的但有限的迭代优化能力。
BBOWP-Bench:评估LLM在黑盒优化文字问题上的性能
介绍了BBOWP-Bench,一个用于评估LLM在黑盒优化文字问题上的基准测试套件。在这些问题中,系统必须从自然语言描述中推断搜索空间和优化算法。初步结果显示,LLM能够选择合适算法,但在搜索空间设计方面存在困难。
InferenceBench:面向AI代理的开放式LLM推理优化基准测试
InferenceBench是一个基准测试,用于评估AI代理在多个瓶颈场景下使用H100 GPU优化LLM推理速度的表现。结果显示,代理虽然优于简单基线,但常常收敛于单一框架,且性能不及简单的超参数搜索,表明需要更好的探索策略。
新LLM协调基准 - 在语言智能体中评估开放式多智能体协调 [R]
介绍了一个用于评估LLMs中多智能体协调的新基准,发现大多数模型在处理长期开放式任务时表现不佳,但Gemini 3.1 Pro在最具挑战性的设置下表现与经过训练的MARL智能体相当。
世界不会等待:在实时计时下评估与训练智能体
论文提出 RealtimeBench,包含六类游戏共180个任务,在推理期间游戏持续运行来评估 LLM 智能体的实时决策能力,并提出 TORSI 双时间尺度自我改进方法,将 Jev 模型平均分从 13.51 提升至 24.19。