论文页面 - SearchHorizonBench：面向AI智能体的搜索价值基准

来源：https://huggingface.co/papers/2610.34714

摘要

SearchHorizonBench 评估了智能体如何从执行历史中学习估计额外搜索的价值，结果表明历史校准能够提升预测准确性，但大部分搜索增益的方差仍未得到解释。

AI 智能体必须决定何时值得付出代价进行下一次搜索。回答成功概率 (https://huggingface.co/papers?q=Answer-success%20probabilities) 反映的是问题本身的难度，而这一决策则需要估计搜索带来的额外收益。我们提出了 SearchHorizonBench (https://huggingface.co/papers?q=SearchHorizonBench)，这是一个用于从执行经验中学习和评估搜索价值 (https://huggingface.co/papers?q=search%20value) 的基准。通过配对续写和重复执行，该基准将预期搜索增益与生成噪声分离开来，并将预测质量与决策效用关联起来。该数据集包含 3,168 个问题共 45,632 次执行。在 1,632 个保留问题上，历史校准 (https://huggingface.co/papers?q=historical%20calibration) 将 Brier 误差 (https://huggingface.co/papers?q=Brier%20error) 降低了 16.2%，且改进主要集中在成功层面的信息上。搜索增益 (https://huggingface.co/papers?q=Search%20gains) 的标准差为 21.4 个百分点，而已测试的历史估计器在点估计中解释的方差不足 2%。匹配配置的学习曲线 (https://huggingface.co/papers?q=Matched-configuration%20learning%20curves) 在不同训练规模下探测了这一差异。在参考 Token 价格下，自由选择观测相比最佳固定动作可带来 2.49 个点的效用提升机会，这主要由增益信息驱动。可复用的历史记录、冻结的数据划分、强基线以及评分为工具，为开发和评估具备价值感知的搜索智能体 (https://huggingface.co/papers?q=value-aware%20search%20agents) 提供了共同基础。

查看 arXiv 页面 (https://arxiv.org/abs/2610.34714) · 查看 PDF (https://arxiv.org/pdf/2610.34714) · 项目页面 (https://ethanning.github.io/SearchHorizonBench/) · GitHub (https://github.com/EthanNing/SearchHorizonBench) · 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.34714)

在你的智能体中获取该论文：

hf papers read 2610.34714

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型：0

暂无关联该论文的模型。

在模型 README.md 中引用 arxiv.org/abs/2610.34714，即可从本页面链接该模型。

引用该论文的数据集：0

暂无关联该论文的数据集。

在数据集 README.md 中引用 arxiv.org/abs/2610.34714，即可从本页面链接该数据集。

引用该论文的 Spaces：0

暂无关联该论文的 Space。

在 Space README.md 中引用 arxiv.org/abs/2610.34714，即可从本页面链接该 Space。

收录该论文的合集：0

暂无收录该论文的合集。

将该论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接该合集。