合成数据能将泰语OCR推向多远?
摘要
本文研究了使用合成数据来改进泰语OCR,从而开发了Wayu-Paxa-OCR-Zero,该模型在没有真实OCR标签的情况下实现了竞争性性能。
arXiv:2609.03595v1 公告类型:新
摘要:我们研究了是什么使得合成OCR监督能够转移到真实的泰语文档,并利用所得见解构建了Wayu-Paxa-OCR-Zero,这是一个无需从真实泰语文档页面获取OCR标签而调整的泰语OCR模型。合成数据提供了大规模的精确标签,但“真实性”混杂了源域、页面上下文、排版、空间结构和字形变化。我们通过一个受控的文档重建管道来解开这些因素,并在打印和手写泰语文档的页面级和裁剪级训练中评估每个变体。非文本上下文几乎没有一致的效果,而字体多样性、二维结构和真实手写字形改善了转移;此外,源域匹配取决于训练粒度,域内重建在页面级训练中接近真实打印监督(中位字符错误率1.82%对比1.31%),但在裁剪级训练中低于域外重建(15.59%对比5.52%)。根据这些发现,我们使用45,723个合成页面将0.9B参数的PaddleOCR-VL-1.6调整为Wayu-Paxa-OCR-Zero:与其基础检查点相比,它将打印页面的中位字符错误率从6.64%降低到1.24%,手写从74.87%降低到20.55%,并在所有五个评估集上超越了Typhoon OCR v1 7B,表明仅使用合成数据训练可以具有竞争力。
查看缓存全文
缓存时间: 2026/09/04 06:02
# 合成数据能让泰语OCR走多远?来源:https://arxiv.org/html/2609.03595 \[ Path = fonts/, Extension = \.otf, UprightFont = \*\-regular, BoldFont = \*\-bold, ItalicFont = \*\-italic, BoldItalicFont = \*\-bolditalic\] \[ Path = fonts/, Extension = \.otf, UprightFont = \*\-Regular, BoldFont = \*\-Bold, Scale = MatchLowercase\] \[ Path = fonts/, Extension = \.otf, UprightFont = \*, BoldFont = \*\-Bold, ItalicFont = \*\-Italic, BoldItalicFont = \*\-BoldItalic, Script = Thai, Scale = MatchLowercase\] \\setTransitionsForThai\\thaifont\\XeTeXlinebreaklocale”th”\\XeTeXlinebreakskip=0pt plus 0\.1pt\\XeTeXlinebreaklocale””\\XeTeXlinebreakskip=0pt ###### 摘要 我们研究了合成OCR监督如何迁移到真实泰语文档,并利用所得见解构建了Wayu\-Paxa\-OCR\-Zero,这是一个未经真实泰语文档页面OCR标签适应的泰语OCR模型。合成数据可大规模提供精确标签,但“真实感”混淆了源域、页面上下文、字体排印、空间结构和字形变异。我们通过可控的文档重建管道分解这些因素,并在打印和手写泰语文档的页面级和裁剪级训练中评估每种变体。非文本上下文效果不大且不一致,而字体多样性、二维结构和真实手写字形可改进迁移;此外,源域匹配取决于训练粒度,域内重建在页面级训练下接近真实打印监督(中位字符错误率为1.82%对1.31%),但在裁剪级训练下性能低于域外重建(15.59%对5.52%)。基于这些发现,我们使用45,723个合成页面将0.9B参数的PaddleOCR\-VL\-1.6适配为Wayu\-Paxa\-OCR\-Zero:相对于其基础检查点,它在打印页面上将中位字符错误率从6.64%降至1.24%,在手写页面上从74.87%降至20.55%,并在所有五个评估集上超越Typhoon OCR v1 7B,表明仅合成训练可具备竞争力。 Wayu ResearchPaxa Labs 技术报告 ## 1 引言 光学字符识别(OCR)将文档图像转换为机器可读文本,用于数字化、搜索和检索增强生成。经典系统如Tesseract依赖于专门的识别管道(Smith, 2007),而现代视觉语言模型(VLMs)在保留阅读顺序和文档上下文的同时进行端到端识别。专有系统如Gemini和GPT提供强大的多语言OCR能力(Team, 2025;OpenAI, 2024);开源模型如Unlimited OCR和PaddleOCR\-VL支持低成本处理敏感文档的本地处理(Yin et al., 2026;Zhang et al., 2026)。然而,覆盖范围仍然不均衡。开源模型、数据集和基准主要针对英语和中文,而资源较少的语言通常有大量文档但可靠标签很少。泰语是我们的案例研究:其独特的字形系统无法从英语或中文迁移。虽然PDF文本提取和OCR伪标签可能省略字符、重排组合符号并破坏阅读顺序。手动纠正成本高昂,且开源泰语数据集仍然有限。Typhoon OCR定义了开源泰语前沿。其2B V1.5模型达到了泰语性能的最先进水平,并与更大的专有系统竞争(Nonesung et al., 2026)。其训练管道结合了传统OCR、VLM重构和精心策划的合成数据。因此,Typhoon OCR确立了泰语特定适配的价值,但并未分离合成监督的贡献或支持迁移的文档属性。近期工作证明了合成OCR迁移在版面感知的印度语页面(Kolavi et al., 2025)、满语单词图像(Chung and Choi, 2025)、跨语言阿拉伯语文档重建(Al\-Homoud et al., 2025)和退化感知的历史页面(Guan et al., 2025)中的应用。这些方法同时变化多个生成因素,尚不清楚迁移是否来自布局、非文本上下文、字体或训练粒度。后一种区分很重要,因为整页模型和现代检测器\-识别器系统(如GLM\-OCR和PaddleOCR\-VL)暴露的文档上下文量不同(Duan et al., 2026;Zhang et al., 2026)。为此,我们提出一个核心问题:*合成数据能让泰语OCR走多远?*我们通过自然发生文档的可控重建来回答。我们的管道将OCR标签渲染到其源区域,同时变化源域、非文本上下文、字体分布、二维布局和手写字形源。使用Qwen3\-VL\-2B\-Instruct(Bai et al., 2025),我们比较了公开英语文档的域外重建和真实泰语文档的域内重建在页面级和裁剪级训练上的表现。然后我们将重建与真实泰语监督进行比较。基于这些发现,我们推导出一种合成训练配方,并用其训练Wayu\-Paxa\-OCR\-Zero,一个仅在合成监督上训练的PaddleOCR\-VL\-1.6的泰语适配模型。我们的贡献总结如下: - •可控文档重建。我们引入了一个管道,在原地替换源文本,同时独立控制源域、非文本上下文、字体多样性、二维布局和手写字形源。 - •关于合成到真实迁移的证据。可控的页面级和裁剪级实验确定了字体排印、空间结构、字形变异以及源域与训练粒度之间的相互作用是迁移的关键决定因素。 - •合成监督的泰语OCR模型。我们介绍了Wayu\-Paxa\-OCR\-Zero,它使用从45,723页生成的合成数据进行训练。该模型显著改进了其基础检查点,并在所有五个评估集上超越了Typhoon OCR 7B模型。 ## 2 从重建文档生成合成OCR 我们通过就地重建现有文档来生成合成泰语OCR页面。图1总结了该管道。对于泰语源,我们使用每个文本区域的OCR标签。对于非泰语源,我们将源文本翻译为泰语或保留其英语OCR标签。然后我们擦除/修复源文本像素,将OCR标签拟合到原始区域,并使用采样的字体或真实手写字形进行渲染。重建设置控制源域、布局、背景、非文本页面上下文、字体分布和字形源。参考说明。图1:文档重建管道概述。泰语文档为域内重建直接提供OCR标签,而非泰语文档则翻译为泰语或保留英语用于域外重建。重建设置控制保留的页面上下文,并使用从指定分布采样的字体或真实手写字形渲染每个OCR标签。 ### 2.1 域内和域外重建 每个源示例包含一个页面图像和带注释的文本区域。当可用时,我们保留区域几何形状、文档元素类别和阅读顺序。对于域内合成,我们使用每个泰语源区域的OCR标签。对于域外合成,我们将大多数非泰语OCR标签翻译为泰语,遵循Typhoon和Typhoon 2使用的基于翻译的数据构建方法(Pipatanakul et al., 2023;Pipatanakul et al., 2024)。然后我们修复源文本像素并在相应区域渲染OCR标签。标准重建保留源页面的背景和非文本像素。为了控制页面上下文,我们在保持文本区域固定的同时,用白色背景替换这些像素。为了控制布局,我们保留原始二维排列或将区域垂直堆叠。 ### 2.2 拟合约束渲染 泰语翻译不必与英语源的长度匹配,并且泰语元音和声调符号可以占据多个垂直级别。因此,我们在放置之前使用HarfBuzz对完整的区域级OCR标签进行塑形。我们独立于源文本采样字体和字号,然后减小字号直到完整OCR标签适合原始区域。如果OCR标签在最小可接受大小下仍然溢出,我们将拒绝整个页面。 ### 2.3 字体渲染 对于字体渲染,我们从指定分布中为每个塑形的OCR标签采样一个泰语字体。我们默认使用第3.1节中测量的配置文件,并在受控实验中用单一字体替换它。该分布包括打印字体和手写字体。用相同字体渲染的字符重复出现共享相同的轮廓。 ### 2.4 手写真实字形渲染 对于手写真实字形渲染,我们将支持的泰语字符替换为从第3.1节中的手写库采样的实例。我们独立采样每个字符,因此重复字符可以使用不同的笔画。不支持的字符回退到字体渲染。我们在字体和真实字形渲染之间保持OCR标签、区域注释、墨高和墨色固定。第3节使用这些重建设置来研究每个受控属性如何影响对真实泰语文档的迁移。 ## 3 什么使合成数据能迁移到真实泰语文档? 我们使用第2节的重建控制来研究哪些属性能迁移到真实泰语文档。我们首先在域内合成中变化非文本页面上下文、字体多样性和二维布局。然后我们比较源域、页面级和裁剪级训练、合成和真实监督、以及字体与真实字形手写。 ### 3.1 实验设置 #### 模型和训练设置。我们使用Qwen3\-VL\-2B\-Instruct作为主要实验模型,并比较两种训练设置(Bai et al., 2025): - •页面级训练:模型接收完整文档图像,并在单次推理中预测整个页面及其区域。附录A给出了指令和目标模式。 - •裁剪级训练:模型识别由布局检测器(Sun et al., 2025)产生的各个区域。此设置遵循两阶段系统,如GLM\-OCR和PaddleOCR\-VL\-1.6,它们在VLM识别之前使用PP\-DocLayoutV3(Duan et al., 2026;Zhang et al., 2026)。附录A给出了预测格式。 #### 数据来源。本研究中的训练数据主要针对泰语OCR。我们根据其OCR标签的获取方式对数据进行分组。 - •真实泰语(打印):我们从Common Crawl(Common Crawl Foundation, 2026)和其他网站收集公共泰语文档PDF和文档图像,包括政府文件、表格、扫描件、报告和在线出版物。该集合包含约34,000页,并分为训练页和测试集。我们以两种方式使用训练集:1)作为第3.3节中域内合成的源文档,其中原始文本像素被修复并替换为渲染的OCR标签;2)使用原始OCR标签作为第3.5节中的真实打印监督。测试集形成下面描述的Heldout评估集。 - •真实泰语(手写):我们从公共网站收集拍摄的泰语学习笔记本页面。该集合包含约4,000页,并分为训练页和400个测试页。在第3.5节中,我们将训练集添加到真实泰语(打印)中形成真实泰语(打印+手写)条件;第3.6节将此条件作为参考。保留的页面形成下面描述的手写和简单手写评估集。 - •域外合成:此来源用于我们的主要训练实验,模拟了无法获得泰语文档且只能访问公共英语数据集的设置。具体来说,我们将第2节中的管道应用于来自DocLayNet(Pfitzmann et al., 2022)的英语页面、来自Crello(Yamaguchi, 2021)的设计页面和来自PubTabNet(Zhong et al., 2020)的宽表格。我们将大多数源文本翻译为泰语,并在原始区域中渲染所得OCR标签,同时保留源布局和非文本像素。剩余的7.61%页面保留其英语OCR标签,近似于真实泰语(打印)中的英语比例。此数据集及其变体在第3.2至3.6节中使用。 - •域内合成:对于此来源,我们应用第2节中的管道,使用其OCR标签重建真实泰语(打印)页面。此来源测试迁移是否受益于真实泰语非文本上下文、文档布局和字体风格。我们在第3.3至3.5节中使用此数据集。附录B描述了我们如何为真实泰语(打印)和真实泰语(手写)构建OCR标签。 #### 字体和字形。我们使用两个互补来源实例化文本外观: - •字体:我们使用HarfBuzz对泰语文本进行塑形,并将字号拟合到每个区域。字体采样遵循从8,000个公共泰语PDF页面测量的字符加权配置文件。表1总结了测量的分布。 - •真实字形:我们使用附录D中的管道,从iApp手写数据集(iApp Technology, 2024)和真实泰语(手写)训练集构建手写字形库。该库包含76个字符类别的约6,000个实例,涵盖泰语辅音、元音、声调符号和数字。不支持的字符回退到字体渲染。表1:从8,000个随机采样页面测量的字符加权字体族分布。该配置文件包含693个观察到的族名;最频繁的十个占80.9%的泰语字符。
相似文章
使用合成数据构建快速多语言OCR模型
NVIDIA推出Nemotron OCR v2,一个使用合成数据生成技术构建的快速多语言OCR模型。该模型通过采用统一的基于FOTS的架构,在检测、识别和关系组件之间实现特征复用,在单个A100 GPU上达到34.7页/秒的性能。
跨时间僧伽罗语OCR:页面级自适应与历时分析
本文介绍了 sinhala-ocr-lk-acts-1010,这是首个公开可用的真实场景页面级僧伽罗语OCR数据集,并使用QLoRA对三种视觉语言模型(DeepSeek-OCR V1、DeepSeek-OCR V2、LightOnOCR-2-1B)进行了微调。LightOnOCR-2-1B实现了1.05%的字符错误率(CER),优于开源和商业OCR模型,并在不同时期的退化文档中保持了稳定的性能。
@DailyDoseOfDS_:在您自己的语言上微调DeepSeek-OCR!(100%本地)大多数视觉模型将文档视为巨大的序列…
DeepSeek-OCR是一个3B参数的视觉模型,使用上下文光学压缩进行高效的文档处理。使用Unsloth在波斯语文本上进行微调,字符错误率降低了88.26%,全部开源且可在单GPU上运行。
@_akhaliq: 百度刚刚发布了 Unlimited-OCR
百度发布了 Unlimited-OCR,这是一款无使用限制的光学字符识别服务。
Xiaomi-OCR-0 技术报告
小米发布 Xiaomi-OCR-0 技术报告:一个基于 Qwen3.5-0.8B 的紧凑型视觉-语言模型,通过自动化数据引擎构建约 1.7 亿样本语料,并结合文本锚定与混合任务强化学习,在多个文档解析与 OCR 基准上取得 SOTA 成绩。