rohanpaul_ai：耶鲁大学及其他顶尖实验室的新论文显示，前沿模型已接近突破当今封闭式物理...

耶鲁大学及其他顶尖实验室的新论文表明，前沿模型已接近突破当今封闭式物理基准测试的上限。 此外，许多表面上的失败源于问题设计不当、参考答案错误以及严格的评分标准，这些因素解释了大多数经审核的物理失败案例，使得基准测试质量成为衡量前沿模型的新瓶颈。 研究人员让物理学家重新检查了6个流行物理基准测试中的模型失败案例，而不是依赖原始分数。 在4个经审核的基准测试子集的250个被拒绝案例中，仅有12个是模型的实际错误。 其余238个案例源于问题设计不当、参考答案错误，或评分标准拒绝了正确答案。 经专家评审后，GPT-5.6-Sol在HLE-Physics上的测量分数从47.3%上升至78.7%。 因此，低物理基准分数可能会严重低估前沿模型的实际解题能力。 但这并不意味着这些模型能可靠地进行物理研究：作者们的代理模型在尝试解决任何开放理论物理问题时仍未能完全成功。 但这确实意味着，不应再将基准分数视为AI物理能力的纯净基准事实。