论文页 - 基于脚本感知混合专家的多语言一体化场景文本识别

来源：https://huggingface.co/papers/2609.24058

摘要

多语言场景文本识别（STR）仍面临挑战，原因在于大多数语言的训练数据稀缺，且在单一模型中支持多样脚本存在困难。现有解决方案要么为每种语言部署独立识别器（增加成本并导致错误累积），要么依赖庞大的视觉-语言模型（VLM）——这些模型计算开销高昂，且在多种脚本上准确性仍不足。本研究旨在实现一种一体化多语言识别器：它比基于每种语言的专家模型更简单，比VLM更轻量，且比两者都更准确。首先，我们构建了TextMuSS-10M——一个覆盖10种脚本、229种语言的大规模合成场景文本数据集。它在缺乏真实数据的场景中提供了均衡且充足的监督信号。其次，我们提出了ScriptMoE（脚本感知混合专家架构）。该架构共享单一视觉编码器，并用稀疏混合专家模块替代密集解码器。该模块包含一个图像级路由器，可将每张图像分派至前2位的脚本对齐专家，以及一个吸收跨脚本知识的共享专家。在我们整合的TextMuSS-Bench（10种脚本，10,899张图像）上进行的广泛实验表明，ScriptMoE达到了82.06%的最高准确率，较最强STR基线提升1.31%。在CC-OCR端到端多语言任务中，仅将PP-OCRv5中的识别器替换为ScriptMoE，即可将F1分数从65.71%提升至80.89%，以极小的参数量略微超越最佳VLM（80.73%）。

查看arXiv页面 (https://arxiv.org/abs/2609.24058) 查看PDF (https://arxiv.org/pdf/2609.24058) 项目页面 (https://huggingface.co/spaces/Yesianrohn/MultilingualOCR-Demo) GitHub2 (https://github.com/YesianRohn/ScriptMoE) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.24058)

在您的智能代理中获取此论文：

hf papers read 2609.24058

尚未安装最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型

0

无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.24058 以从此页链接。

引用此论文的数据集

0

无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.24058 以从此页链接。

引用此论文的Space

0

无Space关联此论文

在Space的 README.md 中引用 arxiv.org/abs/2609.24058 以从此页链接。

包含此论文的收藏

0

无收藏包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从此页链接。