MathFormer: 测试符号数学是模式匹配还是推理 [D]

Reddit r/MachineLearning 论文
symbolic-math pattern-matching reasoning seq2seq language-models attention deep-learning

摘要

MathFormer 是一个小型 seq2seq 模型，在符号数学任务上实现了约 98.6% 的准确率，这表明 LLM 中的数学推理可能是一种大规模的结构化模式补全，而非真正的推理。

仓库链接与结果 - https://github.com/Abhinand20/MathFormer 任务：给定一个类似 (7-3*z)*(-5*z-9) 的因式分解表达式，预测展开形式 -> 15*z\*2-8\*z-63 关键要点：一个仅有 4M 参数的小型 seq2seq 模型，在没有任何数学知识训练的情况下，在符号数学任务上达到了约 98.6% 的准确率，这表明它学习的是结构化的令牌变换，而不是任何关于运算符或变量的概念。将其扩展可能有助于解释为什么 LLM 看起来像是在“推理”数学，而实际上它们可能是在进行大规模的结构化模式补全。鉴于其底层架构仍然基于注意力机制，RL 如何改变这一范式？
查看原文

相似文章

MathVis：AI 能通过绘图进行推理吗？数学图形生成基准

arXiv cs.AI

MathVis 推出了一个包含 512 项任务的基准，用于评估大语言模型生成数学图示和进行图示辅助推理的能力。GPT-6-astra、Claude Fable 5 和 Gemini 3.1 Pro 的 Pass@1 分别仅为 31.25%、26.56% 和 22.85%，表明模型仍主要依赖符号推理，而非视觉图示。

TabularMath：用大语言模型理解表格上的数学推理

arXiv cs.CL

TabularMath 引入了一个基准和 AutoT2T 框架来评估 LLM 对表格数据的数学推理能力，揭示表格复杂性、数据质量和模态对模型性能的重大影响。该研究通过系统地评估模型对真实场景中不完整或不一致表格信息的鲁棒性，填补了 LLM 评估中的空白。