论文页面 - PRL-Bench：评估大语言模型在前沿物理研究中能力的综合性基准

来源: https://huggingface.co/papers/2604.15411 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

当前AI系统在执行端到端物理研究方面的能力有限，凸显了现有语言模型与现实科学发现需求之间的显著差距。

智能体科学 (https://huggingface.co/papers?q=agentic%20science)的范式要求AI系统能够进行稳健的推理，并开展长时跨度的自主探索 (https://huggingface.co/papers?q=autonomous%20exploration)。然而，当前的科学基准 (https://huggingface.co/papers?q=scientific%20benchmarks)仍然局限于领域知识 (https://huggingface.co/papers?q=domain%20knowledge)理解与复杂推理，未能评估真实研究中的探索性质与流程复杂性。在这项工作中，我们提出了理论物理与计算物理 (https://huggingface.co/papers?q=computational%20physics)领域的研究导向评估——一个天然的测试平台，包含全面的领域知识 (https://huggingface.co/papers?q=domain%20knowledge)、复杂推理以及可验证的端到端工作流 (https://huggingface.co/papers?q=end-to-end%20workflows)，无需依赖实验。这里我们引入了PRL-Bench (https://huggingface.co/papers?q=PRL-Bench)（大语言模型物理研究 (https://huggingface.co/papers?q=LLMs)基准），旨在系统性地映射大语言模型 (https://huggingface.co/papers?q=LLMs)在执行端到端物理研究时的能力边界。该基准基于2025年8月以来《物理评论快报》最新期次中精选的100篇论文构建，并经领域专家验证，覆盖现代物理学的五个主要理论与计算密集型子领域：天体物理学、凝聚态物理学、高能物理学、量子信息与统计物理学。基准中的每个任务都旨在复现真实科学研究 (https://huggingface.co/papers?q=scientific%20research)的核心特性，包括探索导向的公式化、长时跨度工作流以及客观可验证性，从而重构真实物理研究中关键的推理过程与研究流程。对前沿模型的评估显示，性能仍有限，最佳总分低于50，揭示了当前大语言模型能力与现实科学研究 (https://huggingface.co/papers?q=scientific%20research)要求之间存在的显著差距。PRL-Bench (https://huggingface.co/papers?q=PRL-Bench)可作为评估下一代AI科学家的可靠测试平台，推动AI系统向自主科学发现迈进。

查看arXiv页面 (https://arxiv.org/abs/2604.15411)查看PDF (https://arxiv.org/pdf/2604.15411)添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.15411)

在您的智能体中获取此论文：

hf papers read 2604.15411

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2604.15411以从本页链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2604.15411以从本页链接。

引用此论文的Space0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2604.15411以从本页链接。

包含此论文的收藏集1