smiles

本文系统比较了化学SMILES字符串的BPE和Unigram-LM分词方法，发现它们产生了几乎不相交的词汇表，并且在分割粒度上存在显著差异。结果表明，子词算法的选择是一个关键的建模决策，而不是一个免费的默认选项。