论文页面 - 用于物理推理的公理化世界建模

Source: https://huggingface.co/papers/2610.24519

摘要

RLAWM 通过分层的建模奖励与求解奖励，惩罚模型内部世界模型与真实物理公理之间的偏差，从而提升物理推理能力。

近期针对大语言模型的研究级物理推理基准揭示了一种失败模式：问题不在于知识或执行，而在于对被推理世界本身的建模。模型常常悄悄改动给定量、编造定律，或注入未说明的假设，把问题硬塞进熟悉的模式中，然后在这个被扭曲的世界里进行推理。我们将这种前提层面的偏差定义为建模漂移：即模型内部的公理化世界模型（AWM）与题目中所指定的真实物理世界之间的差距。尽管 RLVR 和 PRM 已在数学和代码方面取得了显著进展，但它们的奖励形式并未直接监督物理等公理化领域中的世界建模。我们提出基于公理化世界建模的强化学习（RLAWM），通过惩罚其推断出的公理化世界模型与真实物理世界之间的偏差来优化策略。RLAWM 在两个层次（建模与求解）上探查物理推理，每个层次都由一个基于物理的奖励来评分。建模奖励 针对抽象知识的形式化，评估模型在尝试计算之前是否正确把握了真正的公理化世界。求解奖励 针对实例化知识的推理，检查模型的具体推导是否与公理化世界保持一致。这种两层结构将模型认为自己所处的推理世界与它在该世界中的推理方式区分开来。该框架仅在训练阶段运行，推理阶段不会带来额外开销。RLAWM 与基线相比，在 PhysReason 上提升了最高 +12.2 分，在 PHYSICS 上提升了 +5.2 分。它还能在难度、来源和领域上实现零样本泛化，在奥林匹克级别的物理和数学任务上相比最强基线取得了 2.45 倍的提升和 +10 分。

查看 arXiv 页面 查看 PDF 项目页面 添加到合集

在你的智能体中获取本文：

hf papers read 2610.24519

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型链接到本文

在模型的 README.md 中引用 arxiv.org/abs/2610.24519，即可从本页面链接到它。

引用本文的数据集 0

没有数据集链接到本文

在数据集的 README.md 中引用 arxiv.org/abs/2610.24519，即可从本页面链接到它。

引用本文的 Spaces 0

没有 Space 链接到本文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.24519，即可从本页面链接到它。

包含本文的合集 0

没有合集包含本文

将本文添加到合集，即可从本页面链接到它。