面向协作问题求解与AI推理数据集生成的数学论坛平台

# 面向协作解题与AI推理数据集生成的数学论坛平台
来源：https://arxiv.org/html/2606.12976
Akbar Erkinov，独立研究员，美国加州旧金山

###### 摘要

在在线论坛中共享数学内容仍然是学生和教育者面临的一个显著痛点：手写原始LaTeX容易出错，独立的光学字符识别（OCR）工具需要切换平台，而当前的论坛软件无法提供从公式照片到渲染帖子的集成路径。我们提出了一个统一系统，通过将图像到LaTeX的转换流水线直接嵌入论坛发布界面，消除了这一痛点。用户上传或拍摄数学表达式的图像；系统将其路由至Mathpix OCR API，检测返回的输出是LaTeX还是包含行内数学公式的纯文本，应用适当的分隔符规范化，并在帖子提交到数据库之前以LaTeX或Markdown模式渲染实时预览。该架构组织成三个松散耦合的层——图像处理、渲染和存储——并支持桌面和移动客户端。已提交一份美国临时专利申请（No. 63/727,195），涵盖核心方法。我们描述了完整的系统设计、每个组件的细节、数据模式以及关键技术创新，并将本工作与现有的独立工具和论坛平台进行对比，以展示其填补的实际空白。除了即时可用性之外，我们认为，部署此类平台将构成一个持续增长、社区验证的数学问题与逐步解答数据集——这一资源可用于训练和评估AI系统的准确数学推理能力。

关键词：图像到LaTeX转换；数学OCR；在线教育论坛；MathJax；Mathpix API；公式渲染；数学数据集；AI训练；数学推理；电子学习技术。

## 1 引言

在线论坛已成为协作求解数学的实际场所：诸如Mathematics Stack Exchange、Piazza以及课程内嵌讨论板等平台每年处理数百万个涉及公式、证明和方程的问题。然而，*发布*数学内容的体验仍然笨拙。主要的输入方法——手写原始LaTeX源代码——需要对排版语言的熟练运用，而许多学生从未自信掌握该语言[1]。错误常见，预览并不总是可用，从键入到看到渲染结果的反馈循环可能较慢。存在其他方法，但每种方法都引入了自身的不便：拍摄作业问题的学生必须打开单独的OCR应用程序（如Mathpix Snip[3]或pix2tex[4]），复制返回的LaTeX字符串，切换回论坛界面，粘贴，调整分隔符，然后预览。每一次上下文切换都是出错的机会，也是参与的阻碍。

根本原因在于学生所需的三项操作——图像捕捉、公式识别和论坛发布——位于不同的应用程序中，没有共享状态。本文的贡献在于一个消除这些隔阂的系统：*图像捕捉、OCR处理、格式检测、实时预览和论坛发布作为单一、不间断的工作流运行*。图1说明了与现有方法相比，本系统在用户交互步骤上的减少。

该系统构建于Mathpix OCR API[3]之上（该API在印刷和手写数学内容上均表现出色[11]），以及用于客户端渲染的MathJax[2]。关键贡献不在于底层的OCR或渲染引擎（这些已成熟），而在于：(i) 将它们无缝集成到论坛界面中的架构；(ii) 格式处理组件，它检测、规范化并将转换输出路由到适当的渲染器，无需用户干预；(iii) 一个双格式渲染系统，在容纳纯LaTeX帖子和Markdown加数学公式帖子的同时保留作者意图。一项临时专利申请（US 63/727,195，于2024年12月3日提交）涵盖了核心方法。

除了即时可用性优势外，该平台还具有第二项长期价值：每个发布的问题和贡献的解答都成为结构化的、社区验证的数据记录。大规模来看，这些问题-解答对的积累——每个都锚定于一张图像、一个机器可读的LaTeX表示以及一个自然语言或符号解答——构成了一个丰富的数据集，用于训练AI系统准确求解数学问题。大型、高质量、经验证的数学数据集的稀缺是该领域众所周知的瓶颈[17,18]，而一个降低发布数学内容门槛的论坛，会自然地将正常社区活动的副产品产生为这样的数据。

本文其余部分组织如下。第2节回顾相关工作。第3节提供系统概览。第4–5节详细说明架构和实现。第6节讨论关键创新。第7节描述平台作为AI数学训练数据来源的角色。第8–9节讨论局限性、未来工作和结论。

参见图1说明：使用四种方法发布一个数学表达式所需的用户交互步骤。提出的集成系统将工作流简化为单一步骤：在论坛界面内上传图像。
## 2 相关工作

### 2.1 数学表达式识别

从图像中识别数学符号是一个长期的研究问题。Anderson[6]的早期工作建立了数学布局与形式语法之间的语言类比，随后的几十年中，使用专门的字符分割结合数学结构语法模型的系统能力日益增强[7,8]。INFTY系统[9]是这一代的代表：它通过符号分类和结构分析的流水线将扫描的数学文档转换为LaTeX和其他标记格式。Zanibbi和Blostein[10]对数学表达式的识别和检索进行了全面综述。

深度学习的出现显著改变了方法。Deng等人[5]引入了基于注意力机制的编码器-解码器架构——im2latex模型——将问题视为序列到序列学习：卷积编码器将图像映射到特征网格，具有粗到细注意力的循环解码器生成LaTeX标记序列。在源自arXiv论文的im2latex-100K数据集上训练后，该模型以很大优势超越了经典OCR系统。Blecher的pix2tex[4]通过使用视觉变换器（ViT）编码器扩展了这一方向，在现实世界遇到的公式上（而非排版文档中的公式）取得了强劲性能。商业系统如Mathpix[3]将这些技术与大型专有训练集和生产级API相结合；独立评估发现，在BLEU和编辑距离度量上，Mathpix是用于LaTeX转换的最有效的OCR工具[11]。

### 2.2 基于Web的数学渲染

在浏览器中显示LaTeX需要专用的渲染引擎，因为HTML本身不支持任意复杂度的数学排版。MathJax[2]，由美国数学学会、工业与应用数学学会和Design Science于2010年发布，已成为黄金标准：它处理嵌入在页面中的LaTeX或MathML，并完全在JavaScript中（无需服务器端参与）将其渲染为带有CSS的HTML或SVG。由可汗学院开发的KaTeX[12]用更快的渲染速度换取了MathJax的完整性，使其在实时预览场景中颇具吸引力。两个引擎都接受标准的$...$和$$...$$分隔符分别表示行内数学和显示数学，但在处理Mathpix API在纯文本模式下默认返回的替代形式\\(...\\)和\\[...\\]时有所不同。

### 2.3 在线论坛中的数学内容

Mathematics Stack Exchange于2010年推出，是首批在用户提交内容中启用MathJax渲染的主要平台之一[2]。用户输入原始LaTeX，论坛软件将其传递给MathJax进行显示。Discourse[16]是一个广泛部署的开源论坛平台，提供MathJax插件，但同样要求用户手动输入LaTeX。许多大学课程使用的Piazza支持在帖子中使用LaTeX，但不提供图像捕捉路径。Moodle和Canvas等学习管理系统提供公式编辑器，但它们是独立的模态对话框，没有图像输入。据我们所知，目前没有广泛部署的论坛系统提供原生的、端到端的、从图像到渲染帖子的工作流，这正是本系统填补的空白。

## 3 系统概览

在最高层面上，该系统是一个扩展了图像到LaTeX流水线的论坛发布界面。当用户创建帖子时，他们可以选择上传包含数学表达式的图像。系统处理图像，将数学内容恢复为LaTeX或带分隔符的文本，渲染实时预览，并将结果嵌入到帖子正文中。如果不使用图像上传，界面则作为标准的文本编辑器工作，支持Markdown和手动输入的LaTeX。完整的端到端架构如图2所示，组织成三个层：一个*图像处理流水线*，一个*渲染系统*，以及一个*存储层*。这些将在第4节中详细描述。

## 4 系统架构

图像处理流水线渲染系统存储层用户界面图像上传组件图像类型Mathpix API集成存储API格式处理器LaTeX渲染器Markdown数学渲染器论坛帖子数据库数学缩略图LaTeXMarkdown图2：端到端系统架构。三个阴影区域对应三个层：图像处理流水线（顶部），渲染系统（中部），存储层（底部）。数学内容图像通过Mathpix API路由；缩略图直接存储。格式处理器在帖子写入数据库之前分派到适当的渲染器。### 4.1 图像处理流水线

当用户将图像附加到帖子时，图像处理流水线被触发。*图像上传组件*通过浏览器File API接收文件，为即时预览创建本地对象URL，并将文件分派到转换子系统。然后一个轻量级类型分类器确定该图像是否需要完整的OCR处理（数学内容路径）还是可以直接作为缩略图存储（二进制内容路径）。被分类为包含数学内容的图像被转发到API集成层；缩略图立即写入存储API，其URL被插入到帖子正文中。

### 4.2 API集成层

API集成层封装了Mathpix[3] OCR端点。文件被编码为多部分表单数据，并连同适当的认证头一起POST到/v3/text端点。该端点返回一个JSON对象，其中`latex_style`字段（当模型有信心时）包含表达式的纯LaTeX渲染，而`text`字段（当模型没有信心时）包含使用替代的\\(...\\)行内数学分隔符的纯文本版本。集成层提取被填充的字段，将字符串传递给格式处理组件，并将错误呈现给用户界面以供重试或手动覆盖。

### 4.3 格式处理系统

格式处理组件是流水线的语义核心。它解决了一个微妙但重要的问题：Mathpix API可以以两种不同的符号约定返回内容，而下游渲染器则期望其中另外两种。具体来说，MathJax和KaTeX接受$...$表示行内数学，接受$$...$$表示显示数学，而Mathpix的文本输出分别使用\\(、\\)、\\[和\\]达到相同目的。

当输入来自`text`字段而不是`latex_style`字段时，该组件应用以下规范化规则：

\\(...\\) → $...$，\\[...\\] → $$...$$。\texttt{\textbackslash(}\ldots\texttt{\textbackslash)}\;\longrightarrow\;\texttt{\textdollar}\ldots\texttt{\textdollar},\hskip 18.49988pt\texttt{\textbackslash[}\ldots\texttt{\textbackslash]}\;\longrightarrow\;\texttt{\textdollar\textdollar}\ldots\texttt{\textdollar\textdollar}。(1)如果输入来自`latex_style`，则无需规范化，字符串直接传递给LaTeX渲染器。图3展示了不同图像类别中输出类型的典型分布。

参见图3说明：基于Mathpix API在[3,11]中报告的典型行为，不同输入类别的说明性格式路由分布。纯LaTeX输出在印刷公式中占主导；Markdown分隔输出在手写内容中更为常见。
### 4.4 渲染系统

渲染系统暴露一个*格式处理器*，该处理器根据格式处理组件的输出在两条渲染路径之间进行选择。*LaTeX渲染器*在处理的字符串上调用MathJax[2]或KaTeX[12]，并将结果注入帖子编辑器作为渲染预览。*Markdown数学渲染器*应用一个具有数学感知扩展的Markdown解析器，将$...$跨度视为行内数学块，然后将结果传递给相同的MathJax/KaTeX层。界面中的一个切换控件允许作者在自动选择不正确时在两种模式之间切换。关键的是，两条路径都产生一个实时预览，该预览在用户编辑帖子时更新，从而关闭了迫使手动输入系统的用户先提交再重新加载才能看到其公式渲染结果的反馈循环。

### 4.5 存储层

提交时，帖子内容——包括纯文本正文、恢复的LaTeX字符串、原始图像路径和元数据——根据表1中的模式提交到数据库。缩略