AlphaBet:面向 LLM 事件预测智能体的强化学习
摘要
AlphaBet 采用智能体强化学习训练单一 LLM 策略,使其在多日期事件预测中进行搜索、推理与概率汇报。通过多日期训练,Forecast-Dojo 上的 Brier score 从 0.731 降至 0.626,并揭示 GRPO 的标准差归一化会损害 proper scoring rule 的表现。
查看缓存全文
缓存时间: 2026/10/28 21:29
论文页面 - AlphaBet:面向 LLM 事件预测智能体的强化学习
来源: https://huggingface.co/papers/2610.22684
摘要
AlphaBet 采用智能体强化学习方法,训练单个 LLM 策略在多个日期进行搜索、推理并报告预测概率,通过同时改进证据获取和概率报告来降低 Brier 分数。
对一个未决事件进行预测,需要找到相关证据并判断这些证据对各个结果的支持程度。然而,针对大型语言模型(LLM)预测器基于结果的训练通常从单一预测日期的预组装证据开始,将证据获取排除在学习循环之外。我们提出 AlphaBet,一个智能体强化学习(RL)框架,训练单个 LLM 策略在多个事件解决前的日期进行搜索、推理并报告概率。每个带日期的预测都使用严格评分规则(proper scoring rule)根据最终结果进行评分,使得一个已解决的事件能够监督不同信息状态下的决策。我们将预测遗憾分解为证据获取差距和概率报告差距,并指出在多类别严格评分下,GRPO(Group Relative Policy Optimization)的标准差归一化可能会扭曲报告目标。在 GLM-4.5-Air 上,AlphaBet 将 Forecast-Dojo 上的 Brier 分数从 0.731 降低到 0.626,将 FutureX 上的 Brier 分数从 0.612 降低到 0.528。受控消融实验将这些提升归因于多日期训练,并表明这些提升同时来自信息获取和概率报告的改进。我们的实验结果验证了 GRPO 的标准差归一化会降低严格评分规则的表现,而对最高结果的准确率基本没有影响。
查看 arXiv 页面 (https://arxiv.org/abs/2610.22684) 查看 PDF (https://arxiv.org/pdf/2610.22684) 项目页面 (https://alphabet-agent.github.io/) GitHub3 (https://github.com/AlphaBet-Agent/AlphaBet) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.22684)
在您的智能体中获取此论文:
hf papers read 2610.22684
没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
没有模型关联此论文
在模型 README.md 中引用 arxiv.org/abs/2610.22684 以从此页面链接它。
引用此论文的数据集 0
没有数据集关联此论文
在数据集 README.md 中引用 arxiv.org/abs/2610.22684 以从此页面链接它。
引用此论文的 Space 0
没有 Space 关联此论文
在 Space README.md 中引用 arxiv.org/abs/2610.22684 以从此页面链接它。
包含此论文的收藏 0
没有收藏包含此论文
将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接它。
相似文章
AlphaBet:面向 LLM 事件预测智能体的强化学习方法
AlphaBet 是一个基于智能体的强化学习框架,它训练单一 LLM 策略,在多个结果揭晓前的时间点上进行搜索、推理并输出概率,从而降低在 Forecast-Dojo 和 FutureX 上的 Brier 分数,同时揭示了 GRPO 的标准差归一化会扭曲恰当评分规则(proper scoring rule)的目标。
Forecast-Dojo: 用于基准测试与训练LLM预测代理的可重复环境
Forecast-Dojo 是一个用于基准测试与训练LLM预测代理的可重复环境,结合已解决的预测市场问题与带日期的新闻,以实现重复评估和从结果中学习。
LEAF:事件增强预测的实时基准
LEAF是一个用于评估大语言模型在事件增强预测任务(如未来事件概率和时间序列预测)上的实时基准。它采用递归检索代理系统结合双代理交叉验证来提供相关的辅助文本,并表明大语言模型能够利用复杂事件来提升预测性能。
先学习,再下注:学习可解释规则,实现可靠的智能体干预
亚马逊和耶鲁大学的研究人员推出了 LeBet(先学习,后下注),这是一个统计学习框架,可推导出可解释的“或连接多个与条件”监控器,用于决定何时干预自主 LLM 智能体的运行。该框架为有限样本下的假阳性率和统计功效提供保证,同时在使用 Ministral 3 8B 的 SWE-bench Lite 测试中节省了 34.46% 的词元。
面向智能体强化学习信用分配的关键决策定位
提出 ProVer 框架,通过 agentic judge 筛选可能的关键决策片段,并利用前向与后续采样的终端成功率来验证优势值,从而实现 agentic RL 中的细粒度信用分配。在 ALFWorld、WebShop 和 SearchQA 上,较 GRPO 最高提升 9.91%。