论文页面 - 像素文本表征学习的设计基础

来源：https://huggingface.co/papers/2609.01147

摘要

Pixel Linguist II 通过可变分辨率训练、自然图文对齐、布局感知渲染和多语言课程学习，改进了视觉文本编码，取得了最先进的结果并具备强大的压缩鲁棒性。

富文本视觉输入要求模型能够直接在像素空间中读取、检索和压缩语言，然而现有的像素-文本编码器在固定分辨率预训练、视觉捷径学习、弱视觉对齐以及多语言视觉文本理解方面存在不足。本文研究了鲁棒视觉文本表征学习所需的基本设计原则（https://huggingface.co/papers?q=visual%20text%20representation%20learning）。通过系统的控制变量消融实验，我们确定了四个关键组成部分：可变图像分辨率（https://huggingface.co/papers?q=variable%20image%20resolutions）和可变渲染字体大小为高分辨率文档泛化提供了空间代理；自然图像-文本对对于对齐和防止纯文本模式坍塌是不可或缺的；布局感知渲染（https://huggingface.co/papers?q=layout-aware%20rendering）有助于防止像素级捷径学习；而两阶段多语言课程（https://huggingface.co/papers?q=two-stage%20multilingual%20curriculum）能够实现有效的跨语言对齐。通过将这些原则整合到一个可扩展的训练方案中，我们训练了Pixel Linguist II（https://huggingface.co/papers?q=Pixel%20Linguist%20II），这是一个原生分辨率视觉编码器，采用即时渲染、统一对比对齐（https://huggingface.co/papers?q=contrastive%20grounding）和基于2.8亿训练样本的多语言课程进行训练。Pixel Linguist II（https://huggingface.co/papers?q=Pixel%20Linguist%20II）在英语、跨语言和多语言的Visual STS和ViDoRe基准测试中均取得了新的最先进结果，同时也能提升多模态大语言模型（MLLM）的下游评估效果。值得注意的是，Pixel Linguist II（https://huggingface.co/papers?q=Pixel%20Linguist%20II）在80%的视觉词元压缩下（https://huggingface.co/papers?q=visual%20token%20compression）依然保持鲁棒性，在光学上下文压缩方面展现出巨大潜力。我们的代码和资源已开源：https://github.com/Pixel-Linguist/Pixel-Linguist-II\。

查看arXiv页面 (https://arxiv.org/abs/2609.01147) 查看PDF (https://arxiv.org/pdf/2609.01147) 项目页面 (https://huggingface.co/collections/Pixel-Linguist/pixel-linguist-ii) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.01147)

在你的代理工具中获取此论文：

hf papers read 2609\.01147

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

在模型的README.md中引用arxiv.org/abs/2609.01147即可从此页面链接。

引用此论文的数据集0

没有数据集关联此论文

在数据集的README.md中引用arxiv.org/abs/2609.01147即可从此页面链接。

引用此论文的Spaces0

没有Space关联此论文

在Space的README.md中引用arxiv.org/abs/2609.01147即可从此页面链接。

包含此论文的收藏集1