预训练数据，而非可验证性，是LLMs在数学（和编程）方面特别出色的原因（63分钟阅读）

TLDR AI 新闻
llm pretraining-data math coding ai-analysis lesswrong

摘要

本文认为，预训练数据是大型语言模型在数学和编程方面表现出色的主要原因，而非可验证性。

LLMs擅长判断数学论证，主要是因为它们仍然依赖于模仿学习而非强化学习。LLMs在数学方面尤其出色，因为数学文献中几乎都是正确的。它们只需要少量精选的中期训练数据和/或强化学习来优化其元认知策略。而在许多其他领域，研究文献则颇为混乱，夹杂着一些真实有价值的信息与大量虚假和混淆的观点。这使得LLMs经常输出大量混乱的废话，偶尔才有一些见解。
查看原文
查看缓存全文

缓存时间: 2026/09/21 14:36

# 预训练数据而非可验证性：大语言模型在数学（及编程）领域表现卓越的真正原因——LessWrong 来源：https://www.lesswrong.com/posts/xvdngZAqFZfek7KGH/pretraining-data-not-verifiability-is-why-llms-are

相似文章

大模型中的数学迁移更多遵循推理方法而非主题

arXiv cs.AI

研究表明，在为大模型微调选择数学训练数据时，共享推理方法（例如不变推理或双重计数）对保留目标数据的迁移效果显著优于共享数学主题，在五个基础模型上，平衡设计的2x2实验中优势达到8至16个百分点。