论文页面 - GlobeBench：评估基于文本的世界模型在可扩展环境模拟中的能力

来源：https://huggingface.co/papers/2610.22708

摘要

GlobeBench 引入了一个包含五个领域、共 1,632 项任务的标准化基准测试，用于评估基于文本的世界模型（Text-based world models）。测试结果表明，当前的 LLM 在将动作效果传播到相关联对象方面存在明显困难。

基于文本的世界模型 (https://huggingface.co/papers?q=Text-based%20world%20models) 近期展现出模拟复杂强化学习（RL）环境状态转移 (https://huggingface.co/papers?q=RL%20environment%20state%20transitions) 的潜力，适用于多种应用场景。然而，目前尚无标准化的基准测试可供比较、研究和改进这些模型。为此，本文构建了 GlobeBench (https://huggingface.co/papers?q=GlobeBench)，一个全新的基准测试，涵盖五个独立领域和十九种模拟技能，共计 1,632 项任务。这些任务通过考察模型是否能够理解先前的状态变化、遵循环境规则，以及预测动作对相关和不相关对象的影响，来检验模型能否在给定完整智能体轨迹的情况下，预测环境对特定动作的响应。我们采用混合架构将预测的环境响应与执行推导的参考结果进行对比，该架构同时使用了确定性门控 (https://huggingface.co/papers?q=deterministic%20gates) 和语义评判器 (https://huggingface.co/papers?q=semantic%20judge)。在 20 个通用 LLM 和专用文本世界模型 (https://huggingface.co/papers?q=world%20model) 中，GPT-6 Astra (https://huggingface.co/papers?q=GPT-6%20Astra) 以 49.57% 的任务成功率位居第一。我们发现，随着动作影响环境范围的增大，模型准确率会下降。具体而言，当智能体的变更需要传播到相关联的对象时，全部 20 个模型的任务成功率平均降至 5.1%。尽管各模型在不同任务上的优势各异，但仍有 631 项任务未被任何模型解决，这表明通用 LLM 作为世界模型 (https://huggingface.co/papers?q=world%20model) 的能力仍存在显著差距。

查看 arXiv 页面 (https://arxiv.org/abs/2610.22708) 查看 PDF (https://arxiv.org/pdf/2610.22708) 项目页面 (https://huggingface.co/datasets/PatronusAI/globebench) GitHub0 (https://github.com/patronus-ai/globebench) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.22708)

引用本文的模型0

暂无关联模型

在模型的 README.md 中引用 arxiv.org/abs/2610.22708 即可在此页面建立链接。

引用本文的数据集0

暂无关联数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.22708 即可在此页面建立链接。

引用本文的 Space0

暂无关联 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.22708 即可在此页面建立链接。

包含本文的收藏夹0

暂无包含本文的收藏夹

将本文添加到收藏夹 (https://huggingface.co/new-collection) 即可在此页面建立链接。