multilingual-tokenization

标签

#multilingual-tokenization

可移除与不可约：多语言分词税的令牌成本账本

arXiv cs.CL ↗ · 2026-09-02 缓存

本文引入了一个令牌成本账本来分析多语言分词税，将其分解为可移除和内在组成部分，表明非英语文本的大部分超额令牌成本可以通过改进的分词代码来移除。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈