@rohanpaul_ai: 人类通常需要先掌握基础再学习高级技能；我们需要在了解更难的事物之前先知道基础知识…

人类通常需要先掌握基础才能进阶学习；必须了解基础知识才能攻克更难的课题。

但大型语言模型却常常能直接答出进阶问题，却忽略了底层的基础知识。

该研究对比了8个大语言模型与超过18,000名人类学习者的表现，探究核心问题：如果能解决更难的问题，是否也能掌握其包含的前置基础知识？

人类学习者的知识体系表现出显著连贯性。

他们总体得分79.6%，且在正确答案中，72.7%的情况同时正确掌握了所有测试过的前置知识点。

而通义千问-80B-指令版虽然得分更高（92.5%），但在其正确答案中，知识连贯性仅达到48.16%。

在另一项测试中，前置知识点示例并不总是比同技能或相似技能示例更有效。

即便是标准的推理评估方法也大多未能发现这种知识割裂现象。

因此，高准确率可能掩盖了知识体系中的割裂模块。

研究建议：评估推理模型时应采用串联的易难问题组合，而非仅依赖孤立的基准测试题。