标签
该论文测量了2026年主流LLM分词器对法语及法国地方语言的token溢价（法语比英语多31%–58%，地方语言高达1.6–3.3倍），并提出法语优化的字节级BPE原型Baracoda FR v1.2，在法语上比Tekken少用11.5%的token。
本文介绍了LingT2I，这是一个覆盖10种语言、包含33K个提示词的基准，用于评估文本到图像生成中的跨语言一致性，揭示了内容生成和文本渲染方面的语言不平等及语言依赖的权衡。